KR100686310B1 - Method and processor for compensating image tilt and record media recored program therefor - Google Patents
Method and processor for compensating image tilt and record media recored program therefor Download PDFInfo
- Publication number
- KR100686310B1 KR100686310B1 KR1020050133508A KR20050133508A KR100686310B1 KR 100686310 B1 KR100686310 B1 KR 100686310B1 KR 1020050133508 A KR1020050133508 A KR 1020050133508A KR 20050133508 A KR20050133508 A KR 20050133508A KR 100686310 B1 KR100686310 B1 KR 100686310B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tilt
- guide frame
- original image
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012937 correction Methods 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G06T3/02—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
Abstract
Description
도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 처리 장치의 구성을 도시한 도면. 1 is a diagram showing the configuration of an image processing apparatus according to a preferred embodiment of the present invention.
도 2는 본 발명의 바람직한 일 실시예에 따른 기울임 보정 어플리케이션의 모듈 구성을 도시한 도면. 2 is a diagram showing the module configuration of the tilt correction application according to an embodiment of the present invention.
도 3은 본 발명에 따른 이미지 캡쳐 과정의 순서도. 3 is a flow chart of an image capture process according to the present invention.
도 4는 본 발명에 따른 기울임 보정 기능 활성화 과정의 순서도. 4 is a flowchart of a process of activating a tilt correction function according to the present invention;
도 5는 본 발명에 따른 기울임 보정 과정의 순서도. 5 is a flow chart of a tilt correction process according to the present invention.
도 6a는 본 발명에 따른 이미지 프리뷰 시, 가이드 프레임 출력의 예시 화면.6A is an exemplary screen of outputting a guide frame when previewing an image according to the present invention.
도 6b는 본 발명에 따른 실제 캡쳐 이미지와 가이드 프레임의 예시 화면. 6B is an exemplary screen of an actual captured image and guide frame according to the present invention.
도 6c는 본 발명에 따른 기울임 보정된 이미지 예시 화면. 6C is a tilt corrected image example screen according to the present invention.
도 7은 본 발명에 따른 프리뷰 시 Black Transparency 처리한 예시 화면.Figure 7 is an example screen processed Black Transparency during preview according to the present invention.
본 발명은 이미지 기울임 보정 방법, 프로세서 및 이를 위한 기록매체에 관한 것으로서, 이미지 캡쳐 시 자동으로 기울임을 보정하여 개선된 이미지를 얻을 수 있는 방법, 프로세서 및 이를 위한 기록매체에 관한 것이다. The present invention relates to an image skew correction method, a processor, and a recording medium therefor. The present invention relates to a method for obtaining an improved image by automatically tilting an image when capturing an image, a processor, and a recording medium therefor.
과거 영상의 촬영은 아날로그적으로 수행되었으나 최근 CMOS(Complementary Metal Oxide Semiconductor) 및 CCD(Charge-Coupled Device)와 같은 이미지 센서의 고집적화와 이미지 처리 기술을 발달로 인해 디지털로 이미지를 촬영하는 방식이 일반적으로 사용되고 있는 실정이다. In the past, filming was performed analogously. However, in recent years, digital imaging is generally performed due to the high integration of image sensors and image processing technologies such as CMOS (Complementary Metal Oxide Semiconductor) and CCD (Charge-Coupled Device). It is used.
또한, 근래에는 이동 통신 단말기와 같은 휴대용 단말기에도 내/외장형 카메라를 이용한 정지 영상 또는 동영상 촬영 기능이 부가되고 있다. In addition, in recent years, a portable terminal such as a mobile communication terminal has been added to a still image or video recording function using an internal / external camera.
일반적으로, 휴대폰은 이용한 촬영은 주로 한 손으로 이루어지고, 교통 수단을 이용하는 도중에 갑자기 이루어지며, 삼각대와 같은 고정 장치를 사용할 수 없기 때문에 촬영 시 영상의 기울임이 빈번하게 발생하게 된다. In general, the photographing using a mobile phone is mainly performed with one hand, is suddenly made while using a means of transportation, and since a fixed device such as a tripod cannot be used, the image is frequently tilted when shooting.
기울임이 발생하는 경우, 사용자가 의도적으로 기울어진 영상을 촬영하기 위한 경우가 아니라면 대부분 기울임이 있는 영상을 컴퓨터에 저장한 후, 별도의 이미지 편집 프로그램을 통해 보정하게 된다. When the tilt occurs, unless the user intentionally photographs the tilted image, most of the tilted image is stored in a computer and then corrected through a separate image editing program.
이러한 과정은 사용자를 번거롭게 하는 문제점이 있어 공개특허 제2005-0052155호(발명의 명칭: 이동 통신 단말기의 기울기 표시 방법)은 사용자가 영상의 기울임을 정도를 확인할 수 있도록 액정 디스플레이에 기준 앵글 또는 기준 좌표계를 표시하는 방법을 개시한다. This process is troublesome for the user, and Patent Publication No. 2005-0052155 (Invention name: Tilt display method of the mobile communication terminal) is a reference angle or reference coordinate system on the liquid crystal display so that the user can check the degree of tilt of the image A method of displaying is disclosed.
이와 같은 공개특허는 사용자가 기준 앵글 및 기준 좌표계를 통해 영상이 수평/수직 각도를 확인하여 기울임이 없는 영상을 촬영하는데 도움을 준다. Such a patent helps a user to take an image without tilting by checking the horizontal / vertical angle of the image through the reference angle and the reference coordinate system.
그러나, 공개특허와 같은 종래기술에 따르면, 일반적으로 즉각적인 스냅 촬영이 많고, 한 손으로 파지하여 촬영을 해야 하는 이동 통신 단말기에서 기준 앵글 및 기준 좌표계를 통해 수직/수평 각도를 맞추는 것은 사용자에게 매우 어려운 문제점이 있었다. However, according to the prior art such as the patent, it is generally difficult to adjust the vertical / horizontal angle through the reference angle and the reference coordinate system in the mobile communication terminal, which generally has a lot of instant snap shooting and needs to be photographed with one hand. There was a problem.
특히, 사용자가 기준 앵글 및 기준 좌표계를 통해 각도를 맞추는 경우라고 하더라도 촬영 시, 외부 요인(움직이는 차 또는 선박의 흔들림, 강한 바람, 갑작스러운 촬영으로 인한 흔들림 및 조작 미숙으로 인한 흔들림)으로 인해 실제 기울어진 영상을 얻게 되는 문제점이 있었다. In particular, even when the user adjusts the angle through the reference angle and the reference coordinate system, when shooting, the actual tilt due to external factors (shake of the moving car or ship, strong wind, shake due to sudden shooting, and shake due to inexperienced operation) There was a problem of getting a true image.
이처럼, 다양한 요인에 의해 기울임 영상을 얻는 경우에 종래기술은 단지 기울임 영상 자체를 저장하고 출력할 뿐, 기울임 영상을 자동적으로 보정하는 방법은 제시하지 않고 있다. As such, when obtaining the tilted image by various factors, the related art merely stores and outputs the tilted image itself and does not suggest a method of automatically correcting the tilted image.
또한, 종래기술에 같이 단순히 기준 앵글 등만 표시하는 경우, 추후에 별도의 영상 편집 프로그램을 이용하여 영상의 기울임을 보정한다고 하더라도 수평/수직 보정 시 크롭(crop)될 위치의 파악이 어려워 정확한 기울임 보정을 어렵게 하는 문제점이 있었다. In addition, in the case of simply displaying a reference angle or the like as in the prior art, even if the tilt of the image is later corrected using a separate image editing program, it is difficult to grasp the position to be cropped when correcting the horizontal / vertical correction. There was a problem that made it difficult.
본 발명에서는 상기한 바와 같은 종래기술의 문제점을 해결하기 위해 이동 통신 단말기와 같은 휴대용 카메라 장치에서 기울임 영상을 자동으로 보정할 수 있 는 이미지 기울임 보정 방법, 프로세서 및 이를 위한 프로그램이 기록된 기록매체를 제안하고자 한다. In order to solve the problems of the prior art as described above, an image skew correction method, a processor, and a recording medium on which a program for the same can be automatically corrected in a tilting image in a portable camera device such as a mobile communication terminal. I would like to suggest.
본 발명의 다른 목적은 효율적으로 기울임 보정을 수행할 수 있는 이미지 기울임 보정 방법, 프로세서 및 이를 위한 프로그램이 기록된 기록매체를 제공하는 것이다. Another object of the present invention is to provide an image tilt correction method, a processor, and a recording medium on which a program therefor, which can perform tilt correction efficiently.
본 발명의 다른 목적은 기울임 정보를 통해 후 보정을 용이하게 할 수 있는 이미지 기울임 보정 방법, 프로세서 및 이를 위한 프로그램이 기록된 기록매체를 제공하는 것이다. Another object of the present invention is to provide an image skew correction method, a processor, and a recording medium on which a program therefor is recorded, which may facilitate post-correction through tilt information.
본 발명의 다른 목적은 이미지 캡쳐 시, 사용자가 기울임 보정 후 얻을 수 있는 이미지를 미리 확인할 수 있도록 하는 이미지 기울임 보정 방법, 프로세서 및 이를 위한 프로그램이 기록된 기록매체를 제공하는 것이다. Another object of the present invention is to provide an image skew correction method, a processor, and a recording medium having recorded thereon a program for enabling the user to check an image obtained after the tilt correction in advance.
상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 일 실시예에 따르면, 기울임 센서 및 프리뷰 이미지를 표시하는 뷰 파인더를 포함하는 이미지 처리 장치에서 이미지 기울임을 보정하는 방법으로서, (a) 상기 기울임 센서에서 검출되는 기울임 정보를 수신하는 단계; (b) 프리뷰 시, 상기 뷰 파인더에 상기 기울임 정보를 기반으로 절대 수직/수평 위치를 나타내는 가이드 프레임을 출력하는 단계; 및 (c) 캡쳐된 원본 이미지 중 상기 가이드 프레임을 벗어난 영역을 크롭(crop)하고, 상기 크롭된 이미지를 회전시키는 기울임 보정 단계를 포함하는 기울임 보정 방법이 제공된다. In order to achieve the above object, according to a preferred embodiment of the present invention, a method for correcting image tilt in an image processing apparatus including a tilt sensor and a view finder for displaying a preview image, comprising: (a) the tilt Receiving tilt information detected by the sensor; (b) outputting a guide frame indicating an absolute vertical / horizontal position to the view finder based on the tilt information when previewing; And (c) a tilt correction step of cropping an area outside the guide frame of the captured original image and rotating the cropped image.
바람직하게, 상기 (b) 단계는 사용자로부터 미리 설정된 단축키 신호가 입력되는 경우에 상기 가이드 프레임을 출력할 수 있다. Preferably, the step (b) may output the guide frame when a preset hotkey signal is input from the user.
바람직하게, 상기 (b) 단계는 상기 이미지 처리 장치의 기울임이 상기 절대 수직/수평 위치에서 미리 설정된 각도를 초과하는 경우에 상기 가이드 프레임을 출력할 수 있다. Preferably, the step (b) may output the guide frame when the tilt of the image processing apparatus exceeds a preset angle at the absolute vertical / horizontal position.
바람직하게, 상기 (c) 단계는 사용자의 설정에 따라 수직 및 수평 중 어느 하나에 대해서만 기울임을 보정할 수 있다. Preferably, the step (c) may correct the tilt only for any one of the vertical and horizontal according to the user's setting.
본 발명에 따르면, 상기 캡쳐된 이미지의 기울임 정보를 기록하는 단계를 더 포함하는 것이 바람직하며, 상기 캡쳐된 원본 이미지를 메모리에 저장하는 단계; 및 상기 이미지 처리 장치의 촬영 모드가 종료되었는지 여부를 판단하는 단계를 더 포함하되, 상기 (c) 단계는 촬영 모드가 종료된 경우, 상기 메모리에 저장된 원본 이미지 파일을 추출하여 기울임을 보정할 수 있다. According to the present invention, preferably, the method further comprises recording tilt information of the captured image, storing the captured original image in a memory; And determining whether or not the photographing mode of the image processing apparatus is terminated. In step (c), when the photographing mode is terminated, the tilting may be corrected by extracting an original image file stored in the memory. .
바람직하게, 상기 (b) 단계는 상기 뷰 파인더에 상기 절대 수평/수직 위치에 맞추기 위한 상기 이미지 처리 장치의 이동 방향 정보를 출력할 수 있다. Preferably, the step (b) may output the movement direction information of the image processing apparatus for adjusting to the absolute horizontal / vertical position to the viewfinder.
또한, 프리뷰 시, 상기 (c) 단계에서 크롭되는 영역을 음영 처리하는 단계를 더 포함할 수 있다. The method may further include shading the area cropped in the step (c).
본 발명에 따르면, 상기 기울임 보정된 이미지에 대응하는 원본 이미지를 메모리에서 삭제하는 것이 바람직하며, 상기 기울임 보정된 이미지를 상기 원본 이미지의 사이즈로 확대하는 것이 바람직하다. According to the present invention, it is preferable to delete the original image corresponding to the tilt corrected image from the memory, and to enlarge the tilt corrected image to the size of the original image.
본 발명의 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다. According to another aspect of the present invention, there is provided a computer readable recording medium having recorded thereon a program for performing the above method.
또한, 본 발명의 다른 측면에 따르면, 기울임 센서에서 검출되는 기울임 정보를 수신하는 기울임 정보 수신부; 프리뷰 시, 뷰 파인더에 상기 기울임 정보를 기반으로 절대 수직/수평 위치를 나타내는 가이드 프레임을 출력하는 가이드 프레임 출력부; 및 캡쳐된 원본 이미지 중 상기 가이드 프레임을 벗어난 영역을 크롭(crop)하고, 상기 크롭된 이미지를 회전시키는 기울임 보정부 포함하는 기울임 보정 프로세서가 제공된다.Further, according to another aspect of the invention, the tilt information receiving unit for receiving the tilt information detected by the tilt sensor; A guide frame output unit configured to output a guide frame indicating an absolute vertical / horizontal position to the viewfinder based on the tilt information during previewing; And a tilt correction unit that crops an area outside the guide frame of the captured original image and rotates the cropped image.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 이미지 기울임 보정 방법, 프로세서 및 이를 위한 프로그램이 기록된 기록매체에 관한 바람직한 실시예를 상세하게 설명한다. Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the image skew correction method, a processor and a recording medium on which a program therefor according to the present invention is recorded.
본 발명은 휴대폰 및 PDA와 같은 이동 단말기에 카메라를 장착한 경우에 유용하게 적용될 수 있으나, 반드시 이에 한정되는 것은 아니며, 전용 카메라 장치에서도 본 발명에 따른 기울임 보정 방법이 적용될 수 있다는 점을 당업자는 이해하여야 할 것이다. The present invention can be usefully applied when the camera is mounted on a mobile terminal such as a mobile phone and a PDA, but is not necessarily limited thereto, and those skilled in the art will understand that the tilt correction method according to the present invention can be applied to a dedicated camera device. Should.
도 1은 본 발명의 바람직한 일 실시예에 따른 이미지 처리 장치의 구성을 도시한 도면이다. 1 is a diagram illustrating a configuration of an image processing apparatus according to an exemplary embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 이미지 처리 장치는 이미지 센서(100), 영상 처리부(102), 메모리(104), 코덱(106), 제어부(108), 디스플레이부(110), 기울임 센서(112) 및 사용자 입력부(114)를 포함할 수 있다. As shown in FIG. 1, the image processing apparatus according to the present invention includes an
이미지 센서(100)는 복수의 단위 픽셀을 포함하는 픽셀 어레이 및 ADC(Analog-Digital Converter)와 같은 픽셀에서 수집된 데이터를 디지털 데이터로 변환 출력하는 회로를 포함하며, 프리뷰(preview) 및 영상 캡쳐(capture) 시, 각 픽셀에서 수집된 데이터를 영상 처리부(102)로 출력한다. The
이미지 센서(100)는 RGB 베이어(Bayer) 데이터를 출력하는데, 영상 처리부(102)는 이와 같은 베이어 데이터를 실제 컬러로의 보간, 감마 보정(Gamma Correction)하며, RGB 실제 컬러를 휘도(Y 콤포넌트) 및 색도 정보(Cb 및 Cr 콤포넌트)로 이루어진 YCC 데이터로 변환하는 과정을 수행한다. The
영상 처리부(102)는 ISP(Image Signal Processor) 또는 DSP(Digital Signal Processor)와 같은 수단을 통해 구성될 수 있다. The
영상 처리된 데이터는 프리뷰 시, 메모리(104)에 임시 저장된 후, 디스플레이부(110)에 표시될 수 있으며, 캡쳐 시, 코덱(106)을 통해 인코딩(압축)되어 메모리(104)에 저장될 수 있다. The image processed data may be temporarily stored in the
제어부(108)는 상기한 영상 처리부(102), 메모리(104), 코덱(106) 등을 제어한다. The
기울임 센서(112)는 지자계 센서라고도 하며, 지구의 자기장(자계)을 감지하며, 이미지 처리 장치가 절대 수직/수평에 비해 어느 정도 기울어졌는지에 대한 기울임 정보를 제공한다. 기울임 센서(112)는 이미 공지된 기술이므로 여기서 상세한 설명은 생략한다. The
사용자 입력부(114)는 영상 캡쳐에 대한 환경 설정을 위해 사용자 정보를 입 력하는 부분으로서, 일반적인 키패드부를 포함할 수 있다. The
본 발명의 바람직한 일 실시예에 따르면, 이미지 처리 장치는 기울임 센서(112)에 검출된 기울임 정보를 이용하여 사용자가 캡쳐한 이미지의 기울임을 보정한다. According to an exemplary embodiment of the present invention, the image processing apparatus corrects the tilt of the image captured by the user by using the tilt information detected by the
본 발명에 따른 기울임 보정은 기울임 보정 어플리케이션을 통해 소프트웨어적으로 처리될 수 있다. The tilt correction according to the present invention can be processed in software through a tilt correction application.
도 2는 본 발명의 바람직한 일 실시예에 따른 기울임 보정 어플리케이션의 모듈 구성을 도시한 것으로서, 본 발명에 따른 기울임 보정 어플리케이션은 가이드 프레임 출력 모듈(200), 기울임 정보 기록 모듈(202), 기울임 보정 모듈(204) 및 데이터 후 처리 모듈(206)을 포함할 수 있다. 2 illustrates a module configuration of a tilt correction application according to an exemplary embodiment of the present invention. The tilt correction application according to the present invention includes a guide
사용자가 사용자 입력부(114)를 통해 영상 촬영 모드를 선택하는 경우, 뷰 파인더(예를 들어, 디스플레이부(110))에는 프리뷰 영상이 출력되는데, 이때 가이드 프레임 출력 모듈(200)은 사용자의 환경 설정 정보를 참조하여 뷰 파인더에 가이드 프레임을 출력한다. When the user selects an image capturing mode through the
바람직하게, 가이드 프레임은 사용자가 기울임 보정을 원하는 경우에 선택적으로 출력될 수 있는데, 예를 들어, 사용자가 환경 설정 메뉴에서 모든 영상 캡쳐에 대해 기울임 보정을 설정한 경우, 또는 소정 단축키 입력 시에만 기울임 보정을 수행하는 것으로 설정하고, 촬영 모드에서 소정 단축키를 입력한 경우에 출력될 수 있다. Preferably, the guide frame may be selectively output when the user wants the tilt correction, for example, when the user sets the tilt correction for all image captures in the configuration menu, or only when a predetermined shortcut key is input. It may be set to perform correction, and outputted when a predetermined shortcut key is input in the photographing mode.
보다 바람직하게 본 발명에 따른 가이드 프레임은 이미지 처리 장치의 기울 임이 절대 수직/수평에서 미리 설정된 각도(예를 들어, 수직/수평 각 ± 10°)를 초과하는 경우에만 선택적으로 출력될 수 있다. More preferably, the guide frame according to the present invention may be selectively output only when the tilt of the image processing apparatus exceeds a preset angle (eg, vertical / horizontal angle ± 10 °) in absolute vertical / horizontal angle.
뷰 파인더에 출력된 가이드 프레임은 이미지 처리 장치의 움직임에 관계 없이 수직 및 수평으로 기울임이 0°인 각도(절대 수직/수평)를 유지하면서 뷰 파인더에 나타나는데, 가이드 프레임의 수직 및 수평 각도 유지는 상기한 기울임 센서(112)에 검출되는 정보에 따라 수행될 수 있다. The guide frame output to the viewfinder appears in the viewfinder while maintaining an angle (absolute vertical / horizontal) of 0 ° tilt vertically and horizontally regardless of the movement of the image processing device. It may be performed according to the information detected by one
도 6a는 본 발명에 따른 이미지 프리뷰 시, 가이드 프레임 출력의 예시 화면으로서, 도 6a는 이미지 처리 장치가 수평으로 5°, 수직으로 0° 기울어진 경우에 촬영 대상(600), 뷰 파인더(602), 가이드 프레임(604)을 도시한다. FIG. 6A illustrates an example screen for outputting a guide frame when previewing an image according to the present disclosure. FIG. 6A illustrates a photographing
도 6a에 도시된 바와 같이, 수평 5°, 수직 0° 기울어진 경우, 뷰 파인더(602)와 가이드 프레임(604)이 서로 불일치 하게 되며, 사용자는 가이드 프레임(604)을 뷰 파인더(602)에 일치시켜 피사체를 캡쳐하게 된다. As shown in FIG. 6A, when the horizontal 5 ° and the vertical 0 ° are inclined, the
한편, 가이드 프레임 출력 모듈(200)은 가이드 프레임 뿐만 아니라, 현재 이미지 처리 장치가 기울어진 경우, 절대 수직/수평에 맞게 장치를 상하/좌우 어느 방향으로 움직여야 하는지를 알려주는 이동 방향 정보(예를 들어, 화살표)를 함께 표시할 수 있다. On the other hand, the guide
본 발명에 따르면, 기울임 보정은 가이드 프레임에 속하지 않는 부분을 크롭하는 방법으로 수행되는데, 본 발명에 따른 음영 처리 모듈(202)은 뷰 파인더 영역(디스플레이 영역) 및 가이드 프레임 영역을 계산하여 해당 차분 영역을 음영 처리한다.According to the present invention, the skew correction is performed by cropping a part not belonging to the guide frame, and the
도 7은 본 발명에 따른 프리뷰 시 Black Transparency 처리한 예시 화면으로서, 본 발명에 따른 음영 처리 모듈(202)은 캡쳐한 이미지에서 크롭되어 잘려질 영역(700)을 음영 처리(Black Transparency)할 수 있으며, 이를 통해 사용자는 자동 기울임 보정 후, 최종적으로 남는 이미지가 어디까지인지를 쉽게 판단할 수 있게 된다. FIG. 7 illustrates an example screen processed by black transparency during preview according to the present invention, and the
그러나, 전술한 바와 같이, 특히 휴대폰과 같은 장치로 영상을 캡쳐하는 경우, 급작스러운 촬영이나 주변 환경으로 인한 흔들림 때문에 영상에 기울임이 발생할 수 밖에 없는데, 본 발명에 따른 기울임 정보 기록 모듈(204)은 사용자의 캡쳐 시, 해당 이미지의 기울임 정보를 기록하는 과정을 수행한다. However, as described above, in particular, when capturing an image with a device such as a mobile phone, it is inevitable that the image is inclined due to sudden shooting or shaking due to the surrounding environment, and the tilt
기울임 정보는 하기에서처럼 이미지 처리 장치에서 캡쳐한 원본 이미지의 기울임을 보정하는데 사용될 수 있으나, 이에 한정됨이 없이 원본 이미지 파일을 컴퓨터로 전송하고, 컴퓨터에 설치된 이미지 편집 프로그램에서 이미지를 보정하는 경우에도 참고 데이터로서 사용될 수 있을 것이다. The skew information may be used to correct skew of the original image captured by the image processing device as follows, but the present invention is not limited thereto, and reference data may also be used when transferring the original image file to a computer and correcting the image in an image editing program installed on the computer. It may be used as.
기울임 보정 모듈(206)은 상기와 같이 기록된 기울임 정보를 이용하여 캡쳐한 이미지의 기울임을 보정하는 과정을 수행한다. The
본 발명에 따른 기울임 보정 과정은 사용자가 캡쳐한 원본 이미지에서 상기한 가이드 프레임을 벗어난 부분을 크롭하고(crop), 크롭된 이미지를 회전시키는 방식으로 수행된다. The tilt correction process according to the present invention is performed by cropping a portion outside the guide frame in the original image captured by the user, and rotating the cropped image.
전술한 바와 같이, 가이드 프레임은 절대 수평/수직을 나타내는 것이므로 본 발명에 따른 기울임 보정 모듈(206)은 가이드 프레임에 속하는 데이터만을 선택한 다. As described above, since the guide frame represents absolute horizontal / vertical, the
도 6b는 본 발명에 따른 실제 캡쳐한 원본 이미지와 가이드 프레임의 예시 화면으로서, 도 6b에 도시된 바와 같이, 기울임 보정 모듈(204)은 원본 이미지(602)에서 가이드 프레임(604)에 해당하는 부분만을 선택하게 된다. FIG. 6B is an exemplary screen of the actual captured original image and the guide frame according to the present invention. As shown in FIG. 6B, the
가이드 프레임에 속하는 데이터만을 선택하는 경우, 원본 이미지 자체가 기울어지게 되므로 기울임 보정 모듈(206)은 상기와 같은 기울임 정보를 참조하여 크롭된 이미지를 좌/우로 회전시키는 과정을 수행한다. When only the data belonging to the guide frame is selected, the original image itself is tilted, so the
상기한 과정을 통해 원본 이미지가 기울어진 상태라고 하더라도 사용자는 최종적으로 도 6c에 도시된 바와 같이, 기울임 보정이 이루어진 이미지를 확인할 수 있다. Even if the original image is tilted through the above process, the user can finally confirm the image on which the tilt correction is performed, as shown in FIG. 6C.
한편, 상기에서는 기울임 보정 모듈(206)은 원본 이미지를 절대 수직/수평에 맞게 보정하는 것으로 설명하였으나, 사용자의 설정에 따라 절대 수평 또는 수직만을 고려하여 보정할 수도 있을 것이다. In the above description, the
또한, 기울임 보정은 이미지 캡쳐와 동시에 이루어질 수 있으나, 자동 기울임 보정이 수행되는 경우 일반 촬영 모드에 비해 데이터 처리 시간이 추가로 소요될 수 있으므로 연속 촬영 등에서 실시간으로 기울임을 보정하는 것은 바람직하지 않을 수 있다. In addition, the tilt correction may be performed simultaneously with image capturing. However, when the automatic tilt correction is performed, it may not be desirable to correct the tilt in real time in the continuous shooting since the data processing time may be additionally increased compared to the normal shooting mode.
따라서, 본 발명에 따른 기울임 보정 모듈(206)은 사용자가 촬영 모드를 종료했는지 여부를 판단하여 촬영 모드가 종료된 경우, 이전에 캡쳐한 원본 이미지 파일 및 이에 대한 기울임 정보를 이용하여 기울임 보정 과정을 수행할 수 있다. Accordingly, the
데이터 후 처리 모듈(208)은 기울임 보정을 수행한 후, 사용자 설정에 따라 데이터 후 처리 과정을 수행한다. The data
예를 들어, 보정된 이미지는 원본 이미지보다 사이즈가 작아질 수 있으므로 데이터 후 처리 모듈(206)은 기울임 보정된 이미지을 초기 원본 이미지의 사이즈게 맞게 확대하는 과정을 수행할 수 있다. For example, since the corrected image may be smaller in size than the original image, the data
또한, 메모리 용량에 제한이 있는 휴대폰과 같은 장치에서 보정 전의 원본 이미지를 제거하는 것이 바람직할 수 있으므로 본 발명에 따른 데이터 후 처리 모듈(206)은 기울임 보정 후에 메모리(104)에서 원본 이미지 파일을 제거할 수 있다. In addition, since it may be desirable to remove the original image before correction in a device such as a mobile phone with limited memory capacity, the data
한편, 상기에서는 기울임 보정 어플리케이션을 통해 소프트웨어적으로 기울임을 보정하는 것으로 설명하였으나, 이와 달리, 기울임 센서 및 뷰 파인더와 연결되며, 기울임 센서에서 검출된 기울임 정보를 수신하는 기울임 정보 수신부, 프리뷰 시 뷰 파인더에 가이드 프레임을 출력하는 가이드 프레임 출력부 및 캡쳐된 이미지를 기울임 정보를 기반으로 보정하는 기울임 보정부를 구비하는 프로세서를 이용하여 하드웨어적으로 수행할 수도 있을 것이다. On the other hand, in the above description has been described as software to correct the tilt through the tilt correction application, in contrast, it is connected to the tilt sensor and the viewfinder, the tilt information receiver for receiving the tilt information detected by the tilt sensor, the viewfinder when previewing It may be performed in hardware using a processor including a guide frame output unit for outputting a guide frame and a tilt correction unit for correcting the captured image based on the tilt information.
도 3은 본 발명에 따른 이미지 캡쳐 과정의 순서도이다. 3 is a flowchart of an image capture process according to the present invention.
도 3을 참조하면, 이미지 처리 장치가 사용자의 요청에 따라 촬영 모드로 진입하는 경우(S302), 기울임 보정 어플리케이션은 사용자의 환경 설정 정보를 참조하여 기울임 보정 기능을 활성화할지 여부를 판단한다(S302). Referring to FIG. 3, when the image processing apparatus enters the photographing mode at the user's request (S302), the tilt correction application determines whether to activate the tilt correction function with reference to the user's environment setting information (S302). .
기울임 보정 기능 활성화 여부는 사용자가 모든 촬영에 대해 기울임을 보정할 것으로 설정했는지 여부, 기울임 보정을 위한 단축키를 입력했는지 여부 및 기 울임 센서(112)에서 검출된 이미지 처리 장치의 기울임이 미리 설정된 각도를 초과했는지 여부에 따라 결정될 수 있다. Whether the tilt correction function is activated or not, whether the user has set to correct the tilt for all shots, whether a shortcut key for tilt correction has been input, and whether the tilt of the image processing apparatus detected by the
기울임 보정 기능이 활성화 된 경우에 기울임 어플리케이션은 뷰 파인더에 가이드 프레임을 출력한다(S304). 가이드 프레임 출력 시, 절대 수평/수직을 유지하도록 돕는 화살표 출력 또는 크롭될 영역의 음영 처리 과정을 수행될 수 있다. When the tilt correction function is activated, the tilt application outputs the guide frame to the viewfinder (S304). When outputting the guide frame, an arrow output or a shading process of an area to be cropped may be performed to help maintain absolute horizontal / vertical.
사용자가 피사체를 캡쳐하는 경우(S306), 기울임 보정 어플리케이션은 현재 촬영한 원본 이미지의 기울임 정보를 기록한다(S308). When the user captures the subject (S306), the tilt correction application records the tilt information of the original image currently captured (S308).
기울임 정보를 이용해 기울임 보정 과정이 수행되며(S310), 기울임 보정된 이미지를 저장한다(S312).The tilt correction process is performed using the tilt information (S310), and the tilt corrected image is stored (S312).
기울임 보정된 이미지 저장 후, 데이터 후 처리 과정이 수행되며, 데이터 후 처리 과정에 의해 보정된 이미지의 확대 또는 메모리에서 원본 이미지 파일을 삭제한다(S314). After storing the tilt-corrected image, a post-data processing is performed, and the original image file is deleted from the memory or the enlargement of the image corrected by the data post-processing (S314).
한편, 상기 단계(S302)에서 자동 기울임 보정이 활성화되지 않는 경우, 이미지 처리 장치는 일반 캡쳐 모드로 원본 이미지를 저장한다(S316).On the other hand, when the automatic tilt correction is not activated in the step (S302), the image processing apparatus stores the original image in the normal capture mode (S316).
한편, 도 4는 본 발명에 따른 기울임 보정 기능 활성화 과정의 순서도로서, 이미지 처리 장치의 각도에 따라 기울임 보정 기능을 활성화하는 경우에 대해 설명한 것이다. 4 is a flowchart illustrating a process of activating the tilt correction function according to the present invention, and describes a case in which the tilt correction function is activated according to the angle of the image processing apparatus.
도 4를 참조하면, 이미지 처리 장치는 기울임 센서에서 검출한 기울임 정보를 수신한다(S400). 기울임 정보를 통해 이미지 처리 장치는 해당 장치의 각도가 절대 수직/수평과 비교할 때 미리 설정된 각도를 초과하는지 여부를 판단하며(S402), 해당 각도를 초과하는 경우에는 상기 단계(S306)로 이동하며, 그렇지 않은 경우에는 상기 단계(S316)로 이동한다. Referring to FIG. 4, the image processing apparatus receives tilt information detected by the tilt sensor (S400). Based on the tilt information, the image processing apparatus determines whether the angle of the corresponding device exceeds a preset angle when compared with the absolute vertical / horizontal (S402), and if the angle exceeds the corresponding angle, moves to the step S306. If not, go to step S316.
도 5는 본 발명에 따른 기울임 보정 과정의 순서도이다. 5 is a flowchart of a tilt correction process according to the present invention.
도 5은 기울임 보정 어플리케이션에서 수행하는 보정의 상세 과정을 도시한 도면으로서, 도 5를 참조하면, 기울임 보정 어플리케이션은 메모리에 저장된 원본 이미지 파일을 디코딩한다(S500). FIG. 5 is a diagram illustrating a detailed process of a correction performed by the tilt correction application. Referring to FIG. 5, the tilt correction application decodes an original image file stored in a memory (S500).
이미지 캡쳐 시, 캡쳐된 이미지를 자동으로 압축 저장하는 경우가 일반적이라는 점에서 원본 이미지 파일을 디코딩 하는 것으로 설명하였으나, 만일 캡쳐 시에 인코딩 되지 않은 상태라면 상기와 같은 디코딩 과정은 생략될 수도 있을 것이다. In the case of capturing an image, it is explained that the captured image is automatically decompressed and stored. Therefore, the decoding process may be omitted if the original image file is not encoded at the time of capturing.
기울임 보정 어플리케이션은 캡쳐한 원본 이미지의 기울임 정보를 확인하고(S502), 원본 이미지에서 전술한 가이드 프레임 영역을 제외한 부분은 크롭하는 과정을 수행한다(S504). The tilt correction application checks the tilt information of the captured original image (S502), and performs a process of cropping a portion except for the above-described guide frame area in the original image (S504).
크롭에 의해 원본 이미지에서 가이드 프레임을 벗어난 영역이 잘려지면, 기울어진 형태를 가지므로 기울임 보정 어플리케이션은 상기한 기울임 정보를 통해 크롭된 이미지를 회전시켜 절대 수직/수평에 맞는 이미지를 생성한다(S506). If the area beyond the guide frame is cut off from the original image by cropping, it has an inclined shape, and the tilt correction application rotates the cropped image using the above-described tilting information to generate an image that is absolutely vertical / horizontal (S506). .
이와 같이 보정된 이미지는 인코딩되어 메모리에 저장된다(S508).The corrected image is encoded and stored in the memory (S508).
상기에서는 휴대폰과 같은 장치에서 이미지를 캡쳐하는 경우를 중심으로 설명하였으나, 본 발명은 전용 카메라 장치에도 전자 나침반과 같은 기울임 센서를 장착하여 기울임 정보를 추출하고, 이에 따라 기울임 보정을 하는 경우에도 적용될 수 있다는 점은 당업자에게 있어 자명할 것이다. In the above description, the case of capturing an image in a device such as a mobile phone has been described, but the present invention may be applied to a case of extracting tilt information by mounting a tilt sensor such as an electronic compass in a dedicated camera device and thereby correcting tilt. It will be apparent to those skilled in the art.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다. Preferred embodiments of the present invention described above are disclosed for purposes of illustration, and those skilled in the art will be able to make various modifications, changes, and additions within the spirit and scope of the present invention. Additions should be considered to be within the scope of the following claims.
이상에서 설명한 바와 같이, 본 발명에 따르면, 이동 통신 단말기와 같은 휴대용 카메라 장치에서 기울임 이미지를 자동으로 보정할 수 있는 장점이 있다. As described above, according to the present invention, there is an advantage that the tilted image can be automatically corrected in a portable camera device such as a mobile communication terminal.
또한, 본 발명에 따르면, 기울임 보정 어플리케이션이 다양한 설정 정보에 따라 활성화되기 때문에 효율적으로 기울임 보정을 수행할 수 있는 장점이 있다. In addition, according to the present invention, since the tilt correction application is activated according to various setting information, there is an advantage that the tilt correction can be efficiently performed.
또한, 본 발명에 따르면, 뷰 파인더에 음영 처리를 함으로써 크롭될 영역을 미리 알 수 있는 장점이 있다. In addition, according to the present invention, there is an advantage that the area to be cropped can be known in advance by shading the viewfinder.
Claims (12)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050133508A KR100686310B1 (en) | 2005-12-29 | 2005-12-29 | Method and processor for compensating image tilt and record media recored program therefor |
PCT/KR2006/005881 WO2007075071A1 (en) | 2005-12-29 | 2006-12-29 | Method and processor for compensating image tilt and record media recored program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020050133508A KR100686310B1 (en) | 2005-12-29 | 2005-12-29 | Method and processor for compensating image tilt and record media recored program therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100686310B1 true KR100686310B1 (en) | 2007-02-22 |
Family
ID=38104460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020050133508A KR100686310B1 (en) | 2005-12-29 | 2005-12-29 | Method and processor for compensating image tilt and record media recored program therefor |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR100686310B1 (en) |
WO (1) | WO2007075071A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014077497A1 (en) * | 2012-11-19 | 2014-05-22 | Lg Electronics Inc. | Video display device and method of displaying video |
WO2015046674A1 (en) * | 2013-09-26 | 2015-04-02 | Lg Electronics Inc. | Head-mounted display and method of controlling the same |
KR20220129920A (en) * | 2021-03-17 | 2022-09-26 | 삼성전자주식회사 | Image sensor and operating method of image sensor |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8903201B2 (en) | 2011-12-12 | 2014-12-02 | Symbol Technologies, Inc. | Method and apparatus for enhanced document capture |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000078442A (en) * | 1998-08-31 | 2000-03-14 | Nec Home Electronics Ltd | Digital still camera apparatus |
JP2001203919A (en) * | 2000-01-17 | 2001-07-27 | Minolta Co Ltd | Digital camera |
GB0208654D0 (en) * | 2002-04-16 | 2002-05-29 | Koninkl Philips Electronics Nv | Image processing for video or photographic equipment |
-
2005
- 2005-12-29 KR KR1020050133508A patent/KR100686310B1/en active IP Right Grant
-
2006
- 2006-12-29 WO PCT/KR2006/005881 patent/WO2007075071A1/en active Application Filing
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014077497A1 (en) * | 2012-11-19 | 2014-05-22 | Lg Electronics Inc. | Video display device and method of displaying video |
US9462218B2 (en) | 2012-11-19 | 2016-10-04 | Lg Electronics Inc. | Video display device and method of displaying video |
WO2015046674A1 (en) * | 2013-09-26 | 2015-04-02 | Lg Electronics Inc. | Head-mounted display and method of controlling the same |
US9477085B2 (en) | 2013-09-26 | 2016-10-25 | Lg Electronics Inc. | Head-mounted display and method of controlling the same |
KR20220129920A (en) * | 2021-03-17 | 2022-09-26 | 삼성전자주식회사 | Image sensor and operating method of image sensor |
KR102530222B1 (en) * | 2021-03-17 | 2023-05-09 | 삼성전자주식회사 | Image sensor and operating method of image sensor |
Also Published As
Publication number | Publication date |
---|---|
WO2007075071A1 (en) | 2007-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102156597B1 (en) | Optical imaging method and apparatus | |
KR100627018B1 (en) | On screen display control image display apparatus, image display method and computer readble media recording program | |
JP4872797B2 (en) | Imaging apparatus, imaging method, and imaging program | |
US20160142669A1 (en) | Content capturing and recording apparatus | |
US20090051797A1 (en) | Digital image capturing device and method for correctting image tilt errors | |
JP2007258989A (en) | Digital camera, composition corrector, and composition correcting method | |
US20070291177A1 (en) | System, method and computer program product for providing reference lines on a viewfinder | |
JP2007180931A (en) | Image display device and imaging device | |
TWI492618B (en) | Image pickup device and computer readable recording medium | |
JPWO2007057971A1 (en) | Digital camera, electronic device equipped with digital camera, imaging method of digital camera, and storage medium storing digital camera program | |
JP2004343476A (en) | Image pickup device, processor of image pickup result, and method for processing same result | |
JP4748442B2 (en) | Imaging apparatus and program thereof | |
KR100686310B1 (en) | Method and processor for compensating image tilt and record media recored program therefor | |
JP5768193B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program | |
KR20050109190A (en) | Wide image generating apparatus and method using a dual camera | |
WO2014034023A1 (en) | Image processing apparatus, image processing method, and computer program | |
JP4807582B2 (en) | Image processing apparatus, imaging apparatus, and program thereof | |
JP2009033223A (en) | Imaging apparatus | |
US20070085925A1 (en) | Digital camera apparatus | |
JP2004248171A (en) | Moving image recorder, moving image reproduction device, and moving image recording and reproducing device | |
JP4294433B2 (en) | Mobile terminal device | |
WO2011039947A1 (en) | Imaging device and control method for same, imaging system and non-transient computer-readable medium with stored program | |
JP4018696B2 (en) | Imaging apparatus and control method thereof | |
US10911676B2 (en) | Memory card and moving image reproduction device | |
JP2008294504A (en) | Photography device and portable terminal device with photography device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130221 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140203 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150129 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20180129 Year of fee payment: 12 |