KR20170030334A - Apparatus and Method of Enhancing Visual Flavor of Food Image - Google Patents
Apparatus and Method of Enhancing Visual Flavor of Food Image Download PDFInfo
- Publication number
- KR20170030334A KR20170030334A KR1020150127809A KR20150127809A KR20170030334A KR 20170030334 A KR20170030334 A KR 20170030334A KR 1020150127809 A KR1020150127809 A KR 1020150127809A KR 20150127809 A KR20150127809 A KR 20150127809A KR 20170030334 A KR20170030334 A KR 20170030334A
- Authority
- KR
- South Korea
- Prior art keywords
- food
- input image
- image
- image signal
- signal information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상 신호 처리 기술에 관한 것으로, 특히 음식 영상을 영상 신호 처리하여 그 시각적 풍미감을 강조하는 장치와 그 방법에 관한 것이다.The present invention relates to a video signal processing technique, and more particularly, to an apparatus and method for enhancing a visual taste of a food image by processing a video image signal.
홈 쇼핑 등의 음식 광고 방송이나 음식점의 메뉴 디스플레이, 또는 마트에서 음식 제품의 판매 포장 등에서 음식을 포함하는 음식 사진이나 영상이 사용되고 있다. 음식 사진이나 영상은 이와 같이 소비자로 하여금 판매하는 음식에 대한 정보를 직관적으로 파악하고, 해당 음식을 구매하도록 유도하기 위한 수단으로 널리 이용되고 있다.Food photographs and images including food are used in food advertising such as home shopping, menu display of restaurants, and sales packaging of food products at a mart. Food photographs and images are widely used as means for intuitively grasping information about foods sold by consumers and for inducing them to purchase the food.
따라서 소비자가 음식을 구매하도록 음식이 더 먹음직스럽게 보이게 할 필요가 있고, 이와 같은 작업은 통상적으로 음식 사진을 촬영한 후 편집자의 후보정 작업을 통하여 이루어진다. 즉 기존에 음식 사진에 대하여 풍미감을 강조하기 위한 작업은 통상적으로 사람에 의하여 수동적으로 이루어져 왔다.Therefore, it is necessary for the consumer to make the food look better to buy the food, and such work is usually done through post-editorial work after photographing the food. In other words, the work for emphasizing the flavor feeling on the food photographs has conventionally been performed passively by people.
그러나 이와 같은 수동 편집에는 시간이 오래 걸리고 또한 인건비를 포함하는 적지 않은 비용이 투입되는 한계점이 있다. 또한 편집자의 주관적인 판단에 따라 편집을 수행하는 과정에서 결과물의 품질이 균일화되지 못하고, 편집자의 능력에 따라 음식 영상의 풍미감이 강조되지 못할 수도 있는 문제점이 있다.However, such manual editing takes a long time, and there is a limit in that a considerable amount of money including labor costs is put into use. Also, according to subjective judgment of the editor, the quality of the result is not uniformized in the process of performing the editing, and the flavor feeling of the food image may not be emphasized depending on the ability of the editor.
또한 기존에 음식 영상은 신호처리하여 특정 정보를 추출하는 기술들이 존재하고 있기는 하지만, 이들 기술들은 음식 영상에 포함된 음식의 시각적 풍미감을 강조하기 위한 구성을 개시하고 있지는 아니하다.In addition, although existing techniques for extracting specific information by signal processing of food images exist, these technologies do not disclose a configuration for emphasizing the visual flavor of foods included in food images.
미국 공개 특허 US 2013/0335418 A1 (2013.12.19.)US Published Patent US 2013/0335418 A1 (Dec. 19, 2013)
본 발명이 해결하고자 하는 과제는, 기존의 수동적인 영상 편집 방법의 한계점을 극복하고, 입력 영상에 포함된 음식에 대하여 자동으로 음식의 시각적 풍미감을 강조하고, 학습된 데이터를 기반으로 강조 효과를 극대화 할 수 있는 방법과 그에 관한 장치를 제공하는 것이다.A problem to be solved by the present invention is to overcome the limitations of the conventional passive image editing method, to automatically emphasize the visual flavor of the food on the food included in the input image, and to maximize emphasis effect based on the learned data And to provide a device for the same.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 음식 영상의 시각적 풍미 강조 방법은 음식 객체 인식부가 입력 영상을 분석하여 상기 입력 영상에 음식 객체가 포함되었는지 여부를 판단하는 음식 객체 인식 단계; 조명 상황 평가부가 상기 입력 영상을 분석하여 상기 입력 영상의 조명 상황을 평가하는 조명 상황 평가 단계; 및 영상 보정부가 상기 입력 영상의 영상 신호 정보에 따른 음식 색상 모델과 상기 평가한 조명 상황에 따라, 상기 입력 영상의 시각적 풍미감을 증가시키기 위하여, 상기 입력 영상을 보정하는 영상 보정 단계를 포함할 수 있다.According to one aspect of the present invention, there is provided a visual flavor enhancing method for a food image, comprising: a food object recognizing step of analyzing an input image to determine whether a food object is included in the input image; An illumination condition evaluating step of analyzing the input image to evaluate an illumination condition of the input image; And an image correction step of correcting the input image to increase a visual flavor of the input image according to the food color model according to the image signal information of the input image and the evaluated illumination condition, .
여기서 상기 음식 객체 인식 단계는 상기 입력 영상의 영상 신호 정보에 따라 상기 음식 색상 모델을 결정하는 음식 색상 모델 결정 단계를 더 포함할 수 있다.The food object recognition step may further include a food color model determination step of determining the food color model according to the image signal information of the input image.
여기서 상기 음식 색상 모델은 상기 음식 객체의 영상 신호의 색상 또는 밝기에 관한 미리 설정된 정보를 포함하는 색상 모델이 될 수 있다.Here, the food color model may be a color model including predetermined information on the color or brightness of the image signal of the food object.
여기서 상기 음식 객체 인식 단계는 상기 입력 영상에서 상기 입력 영상에 포함된 객체의 형태에 따른 형태 특징과 상기 입력 영상에 포함된 색상에 따른 색상 특징을 추출하고, 상기 추출한 형태 특징 및 색상 특징을 이용하여, 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단하는 것을 특징으로 할 수 있다.Here, the food object recognition step may include extracting a shape feature according to a shape of an object included in the input image and a color feature according to a color included in the input image in the input image and using the extracted shape feature and color feature And determine whether the food object is included in the input image.
여기서 상기 음식 객체 인식 단계는 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단하는 음식 인식 단계를 더 포함할 수 있다.The food object recognition step may further include a food recognition step of determining whether the food object is included in the input image.
여기서 상기 음식 인식 단계는, 상기 입력 영상으로부터 상기 입력 영상에 포함된 화소들의 영상 신호 값을 연산하여 상기 형태 특징과 상기 색상 특징을 추출하는 저차원 특징 추출 단계; 상기 추출한 형태 특징과 색상 특징을 부호화하여 고차원 특징을 추출하는 고차원 특징 추출 단계; 및 상기 추출한 고차원 특징을 기반으로 미리 학습된 분류기를 이용하여 상기 입력 영상에 상기 음식 객체가 포함되었는지를 분류하는 분류 단계를 포함할 수 있다.Wherein the food recognizing step comprises: extracting the shape feature and the color feature by calculating an image signal value of pixels included in the input image from the input image; A high-dimensional feature extraction step of extracting a high-dimensional feature by encoding the extracted feature and color features; And classifying whether the food object is included in the input image using a classifier previously learned based on the extracted high dimensional feature.
여기서 상기 음식 객체 인식 단계는 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류하는 음식 카테고리 분류 단계를 더 포함할 수 있다.The food object recognition step may further include a food category classification step of classifying a food category of the food object included in the input image if it is determined that the food object is included in the input image.
여기서 상기 음식 카테고리 분류 단계는, 상기 입력 영상으로부터 상기 입력 영상에 포함된 화소들의 영상 신호 값을 연산하여 상기 형태 특징과 상기 색상 특징을 추출하는 저차원 특징 추출 단계; 상기 추출한 형태 특징과 색상 특징을 부호화하여 고차원 특징을 추출하는 고차원 특징 추출 단계; 및 상기 추출한 고차원 특징을 기반으로 미리 학습된 분류기를 이용하여, 상기 입력 영상에 포함된 상기 음식 객체가 미리 정해진 복수개의 상기 음식 카테고리들 중 어느 것에 해당하는지를 분류하는 분류 단계를 포함할 수 있다.Wherein the food category classification step includes a low dimensional feature extraction step of calculating the image signal values of pixels included in the input image from the input image and extracting the shape feature and the color feature; A high-dimensional feature extraction step of extracting a high-dimensional feature by encoding the extracted feature and color features; And a classifying step of classifying the food object included in the input image into a predetermined plurality of the food categories using a classifier previously learned based on the extracted high dimensional feature.
여기서 상기 저차원 특징 추출 단계는 상기 형태 특징으로 상기 입력 영상에서 SIFT(Scale Invariant Feature Transform) 기반의 특징을 추출하고, 상기 고차원 특징 추출 단계는 상기 형태 특징과 상기 색상 특징을 피셔 벡터 부호화(Fisher's Vector Encoding)하여 상기 고차원 특징을 획득하고, 상기 분류 단계는 다계층 서포트 벡터 머신(Hierarchical Support Vector Machine)에 기반한 상기 분류기를 이용하여 분류하는 것을 특징으로 할 수 있다.Here, the low-dimensional feature extraction step extracts SIFT (Scale Invariant Feature Transform) -based features from the input image with the feature feature, and the high-dimensional feature extraction step converts the feature feature and the color feature into a Fisher's Vector And the classification step is classified using the classifier based on a hierarchical support vector machine.
여기서 상기 음식 색상 모델 결정 단계는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 음식 색상 모델을 결정하는 것을 특징으로 할 수 있다.The food color model determination step may include analyzing global image signal information and local image signal information of the input image and determining the food color model of the input image according to the analysis result.
여기서 상기 음식 색상 모델 결정 단계는, 상기 입력 영상 전체의 영상 신호에 따른 상기 전역적 영상 신호 정보를 추출하는 단계; 상기 입력 영상을 소정의 크기의 영상 블록으로 분할하고, 상기 분할한 각 영상 블록의 영상 신호에 따른 상기 지역적 영상 신호 정보를 추출하는 단계; 및 상기 추출한 전역적 영상 신호 정보와 지역적 영상 신호 정보를 포함하는 특징 벡터에 기반하여 미리 학습된 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 음식 색상 모델 중 어느 것에 해당하는지를 결정하는 색상 모델 분류 단계를 포함할 수 있다.Wherein the step of determining the food color model comprises: extracting the global image signal information according to a video signal of the entire input image; Dividing the input image into image blocks of a predetermined size and extracting the regional image signal information according to the image signals of the divided image blocks; And a color model classifying step of determining, based on the feature vector including the extracted global image signal information and the local image signal information, which of the food color models the predetermined image corresponds to, using the classifier learned in advance .
여기서 상기 전역적 영상 신호 정보를 추출하는 단계는 상기 입력 영상에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출하고, 상기 지역적 영상 신호 정보를 추출하는 단계는 상기 영상 블록에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 지역적 영상 신호 정보로 추출하는 것을 특징으로 할 수 있다.The extracting of the global image signal information may include extracting a histogram according to a size of an image signal value of pixels included in the input image as the global image signal information and extracting the regional image signal information, And extracts the histogram according to the size of the image signal value of the pixels included in the image block as the regional image signal information.
여기서 상기 색상 모델 분류 단계는 가우시언 혼합 모델 또는 서포트 벡터 머신을 기반으로 하는 상기 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 음식 색상 모델 중 어느 것에 해당하는지를 결정하는 것을 특징으로 할 수 있다.Wherein the color model classifying step determines whether the input image corresponds to the predetermined food color model using the classifier based on a Gaussian mixture model or a support vector machine.
여기서 상기 음식 객체 인식 단계는 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류하고, 상기 음식 색상 모델 결정 단계는 상기 음식 객체 인식 단계에서 분류한 상기 음식 카테고리를 더 포함하는 상기 특징 벡터에 기반한 상기 분류기를 이용하여 상기 음식 색상 모델을 결정하는 것을 특징으로 할 수 있다.Wherein the food object recognition step classifies a food category of the food object included in the input image if the food image is included in the input image, And the food color model is determined using the classifier based on the feature vector further including the classified food category.
여기서 상기 조명 상황 평가 단계는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 조명 상황을 결정하는 것을 특징으로 할 수 있다.The lighting situation evaluating step may include analyzing global image signal information and local image signal information of the input image and determining the lighting situation of the input image according to the analysis result.
여기서 상기 조명 상황 평가 단계는, 상기 입력 영상 전체의 영상 신호에 따른 상기 전역적 영상 신호 정보를 추출하는 단계; 상기 입력 영상을 소정의 크기의 영상 블록으로 분할하고, 상기 분할한 각 영상 블록의 영상 신호에 따른 상기 지역적 영상 신호 정보를 추출하는 단계; 및 상기 추출한 전역적 영상 신호 정보와 지역적 영상 신호 정보를 포함하는 특징 벡터에 기반하여 미리 학습된 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 조명 상황 중 어느 것에 해당하는지를 분류하는 조명 상황 분류 단계를 포함할 수 있다.The lighting situation evaluation step may include: extracting the global image signal information according to a video signal of the entire input image; Dividing the input image into image blocks of a predetermined size and extracting the regional image signal information according to the image signals of the divided image blocks; And a lighting condition classifying step of classifying the input image to which of the predetermined lighting conditions correspond, using a classifier learned in advance based on the feature vector including the extracted global image signal information and the regional image signal information can do.
여기서 상기 전역적 영상 신호 정보를 추출하는 단계는 상기 입력 영상에 포함된 화소들의 밝기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출하고, 상기 지역적 영상 신호 정보를 추출하는 단계는 상기 영상 블록에 포함된 화소들의 색상, 채도, 밝기에 따른 각 히스토그램을 상기 지역적 영상 신호 정보로 추출하는 것을 특징으로 할 수 있다.The extracting of the global image signal information may include extracting a histogram according to brightness of pixels included in the input image as the global image signal information and extracting the regional image signal information may include And extracts each histogram corresponding to the color, saturation, and brightness of the pixels as the regional video signal information.
여기서 상기 영상 보정 단계는 상기 음식 색상 모델과 상기 조명 상황에 따라 미리 정해진 설정에 따라 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정하는 것을 특징으로 할 수 있다.Wherein the image correction step corrects the image signal values of the pixels included in the input image according to the food color model and the predetermined setting according to the illumination condition.
여기서 상기 영상 보정 단계는 상기 미리 정해진 설정에 따라서 톤 정합 보정이나 감마 보정이나 색상 보정 중 적어도 어느 하나를 수행하여, 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정하는 것을 특징으로 할 수 있다.Wherein the image correction step performs at least one of tone matching correction, gamma correction, and color correction according to the predetermined setting to correct an image signal value of pixels included in the input image.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형은 상기 음식 영상의 시각적 풍미 강조 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램이 될 수 있다.In order to solve the above problem, another type of the present invention can be a computer program stored in a medium for executing the visual flavor emphasizing method of the food image.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 음식 영상의 시각적 풍미 강조 장치는, 입력 영상을 분석하여 상기 입력 영상에 음식 객체가 포함되었는지 여부를 판단하는 음식 객체 인식부; 상기 입력 영상을 분석하여 상기 입력 영상의 조명 상황을 평가하는 조명 상황 평가부; 및 상기 입력 영상의 영상 신호 정보에 따른 음식 색상 모델과 상기 평가한 조명 상황에 따라, 상기 입력 영상의 시각적 풍미감을 증가시키기 위하여, 상기 입력 영상을 보정하는 영상 보정부를 포함할 수 있다.According to another aspect of the present invention, there is provided an apparatus for enhancing visual flavor of a food image, comprising: a food object recognition unit for analyzing an input image and determining whether a food object is included in the input image; An illumination condition evaluating unit for analyzing the input image and evaluating an illumination condition of the input image; And an image correction unit for correcting the input image to increase the visual flavor of the input image according to the food color model according to the image signal information of the input image and the evaluated illumination condition.
여기서 상기 음식 객체 인식부는, 상기 입력 영상에서 상기 입력 영상에 포함된 객체의 형태에 따른 형태 특징과 상기 입력 영상에 포함된 색상에 따른 색상 특징을 추출하고, 상기 추출한 형태 특징 및 색상 특징을 이용하여, 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단하는 음식 인식부; 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류하는 음식 카테고리 분류부; 및 상기 입력 영상의 영상 신호 정보에 따라 상기 음식 색상 모델을 결정하되, 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과와 상기 음식 카테고리에 따라 상기 입력 영상의 상기 음식 색상 모델을 결정하는 음식 색상 모델 결정부를 포함할 수 있다.Here, the food object recognizing unit extracts a shape feature according to a shape of an object included in the input image and a color feature according to a color included in the input image in the input image, and uses the extracted shape feature and color feature A food recognition unit for determining whether the food object is included in the input image; A food category classifying unit for classifying a food category of the food object included in the input image if it is determined that the food object is included in the input image; And determining the food color model according to the image signal information of the input image, analyzing the global image signal information and the regional image signal information of the input image, and analyzing the global image signal information and the regional image signal information of the input image, And a food color model determining section that determines a food color model.
여기서 상기 조명 상황 평가부는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 조명 상황을 결정하고, 상기 영상 보정부는 상기 음식 색상 모델과 상기 조명 상황에 따라 미리 정해진 설정에 따라 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정하는 것을 특징으로 할 수 있다.Wherein the illumination condition evaluating unit analyzes the global image signal information and the regional image signal information of the input image and determines the illumination condition of the input image according to the analysis result, And the image signal values of the pixels included in the input image are corrected according to a predetermined setting according to illumination conditions.
본 발명에 따른 음식 영상의 시각적 풍미 강조 장치 및 그 방법은 음식 영상을 시각적으로 풍미감이 강조되도록 자동으로 보정하는 효과가 있다. 본 발명에 따른 음식 영상의 시각적 풍미 강조 장치 및 그 방법에 의하면, 일반 음식 영상을 보다 풍미감을 가지도록 자동으로 보정함으로써, 음식 영상을 활용하는 사용자가 손쉽게 풍미감이 강조된 음식 영상을 획득할 수 있도록 하는 효과가 있다. The apparatus and method for enhancing a visual image of a food image according to the present invention have an effect of automatically correcting a food image to visually emphasize a flavor feeling. According to the apparatus and method for emphasizing the visual image of a food image according to the present invention, a user who uses a food image can easily acquire a food image emphasizing a flavor by automatically correcting a general food image to have a more flavorful feeling .
도 1은 본 발명의 일 실시예에 따른 음식 영상의 시각적 풍미 강조 방법의 흐름도이다.
도 2는 음식 객체 인식 단계의 세부 흐름도이다.
도 3은 음식 인식 단계의 세부 흐름도이다.
도 4는 음식 카테고리 분류 단계의 세부 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 음식 인식 단계 및 음식 카테고리 분류 단계의 세부 흐름도이다.
도 6은 음식 색상 모델 결정 단계의 세부 흐름도이다.
도 7은 조명 상황 평가 단계의 세부 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 음식 영상의 시각적 풍미 강조 장치 블록도이다.
도 9는 음식 객체 인식부의 세부 블록도이다.FIG. 1 is a flowchart illustrating a visual flavor enhancing method of a food image according to an embodiment of the present invention.
2 is a detailed flowchart of the food object recognition step.
3 is a detailed flowchart of the food recognition step.
4 is a detailed flowchart of the food category classification step.
5 is a detailed flowchart of a food recognition step and a food category classification step according to an embodiment of the present invention.
6 is a detailed flowchart of the food color model determination step.
7 is a detailed flowchart of the lighting situation evaluation step.
8 is a block diagram of a visual flavor emphasizing device for food images according to another embodiment of the present invention.
9 is a detailed block diagram of the food object recognition unit.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.
음식 사진이나 영상은 소비자로 하여금 판매하는 음식에 대한 정보를 직관적으로 파악하고, 해당 음식을 구매하도록 유도하기 위한 수단으로 널리 이용되고 있다. 따라서 소비자가 음식을 구매하도록 음식이 더 먹음직스럽게 보이게 할 필요가 있다. 그리고 이와 같은 작업은 통상적으로 음식 사진을 촬영한 후 편집자의 후보정 작업을 통하여 이루어진다. 즉 기존에 음식 사진에 대하여 풍미감을 강조하기 위한 작업은 통상적으로 사람에 의하여 수동적으로 이루어져 왔다. 그러나 이와 같은 수동 편집에는 시간이 오래 걸리고 또한 인건비를 포함하는 적지 않은 비용이 투입되는 한계점이 있다. 또한 편집자의 주관적인 판단에 따라 편집을 수행하는 과정에서 결과물의 품질이 균일화되지 못하고, 편집자의 능력에 따라 음식 영상의 풍미감이 강조되지 못할 수도 있는 문제점이 있다. 또한 기존에 음식 영상은 신호처리하여 특정 정보를 추출하는 기술들이 존재하고 있기는 하지만, 이들 기술들은 음식 영상에 포함된 음식의 시각적 풍미감을 강조하기 위한 구성을 개시하고 있지는 아니하다.Food photographs and images are widely used as a means to intuitively grasp information about the food sold by the consumer and to induce them to purchase the food. It is therefore necessary to make the food look more appetizing so that the consumer can purchase the food. This work is usually done through post-production work of the editor after photographing the food. In other words, the work for emphasizing the flavor feeling on the food photographs has conventionally been performed passively by people. However, such manual editing takes a long time, and there is a limit in that a considerable amount of money including labor costs is put into use. Also, according to subjective judgment of the editor, the quality of the result is not uniformized in the process of performing the editing, and the flavor feeling of the food image may not be emphasized depending on the ability of the editor. In addition, although existing techniques for extracting specific information by signal processing of food images exist, these technologies do not disclose a configuration for emphasizing the visual flavor of foods included in food images.
이에 본 발명은 기존의 수동적인 영상 편집 방법의 한계점을 극복하고, 입력 영상에 포함된 음식에 대하여 자동으로 음식의 시각적 풍미감을 강조하고, 학습된 데이터를 기반으로 강조 효과를 극대화 할 수 있는 방법과 그에 관한 장치를 제안한다. Accordingly, the present invention overcomes the limitations of the conventional passive image editing method, emphasizes the visual flavor of the food automatically on the food included in the input image, and maximizes the emphasis effect based on the learned data We propose a device for that.
도 1은 본 발명의 일 실시예에 따른 음식 영상의 시각적 풍미 강조 방법의 흐름도이다.FIG. 1 is a flowchart illustrating a visual flavor enhancing method of a food image according to an embodiment of the present invention.
본 발명에 따른 음식 영상의 시각적 풍미 강조 방법은 음식 객체 인식 단계(S100), 조명 상황 평가 단계(S200), 영상 보정 단계(S300)를 포함할 수 있다.The method for enhancing visual flavor of a food image according to the present invention may include a food object recognition step (S100), a lighting condition evaluation step (S200), and an image correction step (S300).
한편 본 발명의 또 다른 실시예에 따른 음식 영상의 시각적 풍미 강조 장치는 음식 객체 인식부(100), 조명 상황 평가부(200), 영상 보정부(300)를 포함할 수 있다. 도 8은 상기 본 발명의 또 다른 실시예에 따른 음식 영상의 시각적 풍미 강조 장치의 블록도이다.Meanwhile, the device for enhancing a visual image of a food image according to another embodiment of the present invention may include a food
여기서 음식 객체 인식부(100), 조명 상황 평가부(200), 영상 보정부(300)는 이하 상세히 설명할 바와 같이 본 발명에 따른 음식 영상의 시각적 풍미 강조 방법에 따라 동작할 수 있다.Here, the food
여기서 본 발명에 따른 음식 영상의 시각적 풍미 강조 장치는 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있다. 또는 본 발명에 따른 음식 영상의 시각적 풍미 강조 장치는 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한 본 발명에 따른 음식 영상의 시각적 풍미 강조 장치는 소프트웨어 프로그램으로 구현되어 프로세서 또는 신호 처리 모듈 위에서 동작할 수 있고, 또는 하드웨어의 형태로 구현되어 칩(Chip), 소자 등에 포함될 수 있음은 물론이다. 또한 본 발명에 따른 음식 영상의 시각적 풍미 강조 장치는 하드웨어 또는 소프트웨어 모듈에 포함되어 동작할 수 있다. 예를 들면 본 발명에 따른 음식 영상의 시각적 풍미 강조 장치는 카메라 장치에 연결어 입력 영상을 수신하고 보정된 영상을 출력하는 디바이스 또는 컴퓨터나 임베디드 시스템이 될 수 있다. 또한 본 발명에 따른 음식 영상의 시각적 풍미 강조 장치는 위와 같은 각 장치들에서 수행될 수 있다.Here, the visual flavor enhancing device for a food image according to the present invention can be implemented by each independent component of all the components. Or a visual flavor enhancing device for a food image according to the present invention is a computer program having a program module that performs a part or all of functions in combination with one or a plurality of hardware by selectively or partially combining all or a part of each component . In addition, the visual flavor enhancing device for a food image according to the present invention may be implemented as a software program and operated on a processor or a signal processing module, or may be embodied in hardware to be included in a chip or an element. In addition, the device for enhancing the visual image of a food image according to the present invention may be included in a hardware or software module. For example, the device for enhancing the visual image of a food image according to the present invention may be a device or a computer or an embedded system connected to a camera device to receive an input image and output a corrected image. In addition, the device for emphasizing the visual image of the food image according to the present invention can be performed in each of the above devices.
이하에서는 본 발명에 따른 음식 영상의 시각적 풍미 강조 방법에 대하여 보다 상세히 설명한다.Hereinafter, a method for enhancing visual flavor of a food image according to the present invention will be described in detail.
상술한 바와 같이 본 발명에 따른 음식 영상의 시각적 풍미 강조 방법은 음식 객체 인식 단계(S100), 조명 상황 평가 단계(S200), 영상 보정 단계(S300)를 포함할 수 있다.As described above, the method for enhancing a visual image of a food image according to the present invention may include a food object recognition step (S100), a lighting condition evaluation step (S200), and an image correction step (S300).
음식 객체 인식 단계(S100)는 음식 객체 인식부가 입력 영상을 분석하여 상기 입력 영상에 음식 객체가 포함되었는지 여부를 판단한다.In the food object recognition step S100, the food object recognition unit analyzes the input image and determines whether or not the food object is included in the input image.
조명 상황 평가 단계(S200)는 조명 상황 평가부가 상기 입력 영상을 분석하여 상기 입력 영상의 조명 상황을 평가한다.In the illumination condition evaluation step S200, the illumination condition evaluation unit analyzes the input image and evaluates the illumination condition of the input image.
영상 보정 단계(S300)는 영상 보정부가 상기 입력 영상의 영상 신호 정보에 따른 음식 색상 모델과 상기 평가한 조명 상황에 따라, 상기 입력 영상의 시각적 풍미감을 증가시키기 위하여, 상기 입력 영상을 보정한다.In the image correction step S300, the image correction unit corrects the input image to increase the visual flavor of the input image according to the food color model according to the image signal information of the input image and the evaluated illumination condition.
먼저 음식 객체 인식 단계(S100)에 대하여 보다 상세히 설명한다.First, the food object recognition step S100 will be described in more detail.
음식 객체 인식 단계(S100)는 음식 객체 인식부가 입력 영상을 분석하여 상기 입력 영상에 음식 객체가 포함되었는지 여부를 판단한다. In the food object recognition step S100, the food object recognition unit analyzes the input image and determines whether or not the food object is included in the input image.
여기서 음식 객체 인식부는 외부에 연결된 카메라 또는 영상 획득 장치로부터 상기 입력 영상을 수신할 수 있다. 여기서 입력 영상은 하나의 영상 프레임이 될 수 있고, 복수개의 영상 프레임으로 이루어지는 동영상이 될 수도 있다. 또한 여기서 상기 음식 객체는 상기 입력 영상에 포함된 객체들 중에서 사람이 섭취하는 음식을 나타내는 객체이다. 예를 들면 상기 음식 객체는 밥, 국, 고기, 생선, 과일 등 다양한 종류의 음식을 나타내는 객체가 될 수 있다. 음식 객체 인식 단계(S100)에서는 입력 영상에서 이와 같은 음식 객체가 포함되었는지 여부를 먼저 인식한다.Here, the food object recognition unit may receive the input image from a camera or an image acquisition apparatus connected to the outside. Here, the input image may be one image frame or a moving image composed of a plurality of image frames. Here, the food object is an object representing food consumed by a person among the objects included in the input image. For example, the food object may be an object representing various kinds of food such as rice, soup, meat, fish, fruits, and the like. In the food object recognition step S100, whether or not such a food object is included in the input image is first recognized.
여기서 음식 객체 인식 단계(S100)는 상기 입력 영상에서 상기 입력 영상에 포함된 객체의 형태에 따른 형태 특징과 상기 입력 영상에 포함된 색상에 따른 색상 특징을 추출하고, 상기 추출한 형태 특징 및 색상 특징을 이용하여, 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단할 수 있다.Herein, the food object recognition step S100 extracts a shape feature according to a shape of an object included in the input image and a color feature according to a color included in the input image in the input image, To determine whether the food object is included in the input image.
여기서 상기 형태 특징은 상기 입력 영상에 포함된 객체 즉 물체의 형태 또는 외양에 따른 정보를 나타내는 특징이다. 예를 들면 상기 형태 특징은 객체의 경계 또는 에지 성분을 나타내는 특징이 될 수 있고, 객체의 텍스쳐 성분을 나타내는 특징이 될 수도 있다. 이를 위하여 상기 입력 영상에서 에지를 추출하여 기울기 또는 그래디언트를 계산하여 형태 특징을 추출할 수도 있고, 입력 영상에서 지역적 필터링을 수행하여 그 결과에 따라 형태 특징을 추출할 수도 있고, 입력 영상에서 지역적 영상 블록 간의 거리 연산이나 기타 연산을 수행하여 형태 특징을 추출할 수도 있다. 여기서 형태 특징으로는 이와 같이 영상에 포함된 객체의 형태 및 외양을 표현하기 위하여 기존에 영상 인식에서 사용되었던 다양한 종류의 특징을 이용할 수 있다.Here, the shape feature is a feature indicating information according to the shape or appearance of the object included in the input image. For example, the shape feature may be a feature indicating a boundary or an edge component of an object, and may be a feature indicating a texture component of the object. For this purpose, it is possible to extract an edge from the input image and to calculate a gradient or a gradient to extract a shape feature, perform local filtering on the input image, extract shape features according to the result, It is also possible to extract shape features by performing a distance operation or other operation between them. Here, various types of features used in image recognition can be used to express the shape and appearance of objects included in the image.
또한 상기 색상 특징은 상기 입력 영상에 포함된 색상에 따른 정보로서, 다양한 색 공간에서의 전역적 또는 지역적 색상 분포에 따른 특징이 될 수 있다. 예를 들면 상기 색상 특징은 상기 입력 영상에 포함된 화소들의 색상에 따른 히스토그램이 될 수 있고, 필요에 따라 일부 영역에서 획득된 색상 히스토그램이 될 수도 있다. 여기서 상기 색상 특징으로는 기존에 영상에 포함된 화소들의 색상 분포를 표현하기 위하여 기존에 영상 인식에서 사용되었던 다양한 종류의 특징들을 이용할 수 있다.The color feature may be information according to the color included in the input image, and may be a feature according to global or regional color distribution in various color spaces. For example, the color feature may be a histogram according to the color of the pixels included in the input image, and may be a color histogram obtained in some areas if necessary. Here, the color feature may use various types of features that have been used in image recognition to represent the color distribution of pixels included in the image.
여기서 음식 객체 인식 단계(S100)는 음식 인식 단계(S110)를 포함할 수 있고, 필요에 따라 음식 카테고리 분류 단계(S120) 또는 음식 색상 모델 결정 단계(S130)를 더 포함할 수도 있다.Here, the food object recognition step S100 may include a food recognition step S110 and may further include a food category classification step S120 or a food color model determination step S130 as needed.
도 2는 음식 객체 인식 단계(S100)의 세부 흐름도이다.2 is a detailed flowchart of the food object recognition step S100.
음식 인식 단계(S110)는 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단한다.The food recognition step S110 determines whether the food image is included in the input image.
음식 카테고리 분류 단계(S120)는 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류한다.The food category classification step S120 classifies the food category of the food object included in the input image if it is determined that the food object is included in the input image.
여기서 음식 카테고리는 음식 객체를 미리 설정된 종류에 따라 분류하기 위한 카테고리가 될 수 있다. 예를 들면 음식 카테고리는 음식 객체의 재료에 따라 육류, 생선류, 곡물류 등이 될 수 있고, 보다 상세하게 예를 들어 육류에 대하여 소고기류, 닭고기류, 돼지고기류 등이 될 수 있다. 또는 음식 카테고리는 음식 객체의 조리 방법에 따라 찌개류, 구이류, 찜류 등으로 설정될 수도 있다. 여기서 음식 카테고리는 상술한 예 이외에도 사용자의 설정에 따라 미리 정해진 부류들을 포함하도록 설정될 수 있음은 물론이다.Here, the food category may be a category for classifying the food object according to a predetermined type. For example, the food category can be meat, fish, cereal, etc., depending on the material of the food object, and more specifically, beef, poultry, pork, etc. for meat. Alternatively, the food category may be set as a stew, a roast, a steaming or the like according to the cooking method of the food object. It goes without saying that the food category may be set to include predetermined classes according to the setting of the user in addition to the above-described examples.
음식 색상 모델 결정 단계(S130)는 상기 입력 영상의 영상 신호 정보에 따라 상기 음식 색상 모델을 결정한다.The food color model determination step (S130) determines the food color model according to the image signal information of the input image.
여기서 상기 음식 색상 모델은 상기 음식 객체의 영상 신호의 색상 또는 밝기에 관한 미리 설정된 정보를 포함하는 색상 모델이 될 수 있다. 여기서 음식 색상 모델은 영상 신호 값의 범위를 한정하거나 영상 신호 값을 특정 범위 내로 변환하는 미리 정해진 규칙 정보를 포함할 수 있고, 영상 신호 값을 특정 값으로 변환하는 함수 또는 테이블에 관한 정보를 포함할 수도 있다.Here, the food color model may be a color model including predetermined information on the color or brightness of the image signal of the food object. Here, the food color model may include predetermined rule information for limiting the range of the image signal value or converting the image signal value into a specific range, and may include information about a function or table for converting the image signal value to a specific value It is possible.
이하에서는 음식 인식 단계(S110)에 대하여 보다 상세히 설명한다.Hereinafter, the food recognition step (S110) will be described in more detail.
도 3은 음식 인식 단계(S110)의 세부 흐름도이다.3 is a detailed flowchart of the food recognition step S110.
여기서 음식 인식 단계(S110)는 저차원 특징 추출 단계(S111), 고차원 특징 추출 단계(S112), 분류 단계(S113)를 포함할 수 있다. 도 3에서는 상기 분류 단계(S113)를 음식 카테고리 분류 단계(S120)의 분류 단계(S123)와 구별하여 지칭하기 위하여 제1 분류 단계(S113)로 표시하였다.Here, the food recognition step S110 may include a low dimensional feature extraction step S111, a high dimensional feature extraction step S112, and a classification step S113. In FIG. 3, the classification step S113 is represented as a first classification step S113 in order to distinguish it from the classification step S123 of the food category classification step S120.
저차원 특징 추출 단계(S111)는 상기 입력 영상으로부터 상기 입력 영상에 포함된 화소들의 영상 신호 값을 연산하여 상기 형태 특징과 상기 색상 특징을 추출할 수 있다.The low-dimensional feature extraction step S111 may extract the morphological feature and the hue feature by calculating an image signal value of pixels included in the input image from the input image.
여기서 저차원 특징 추출 단계(S111)는 상기 형태 특징으로 상기 입력 영상에서 SIFT(Scale Invariant Feature Transform) 기반의 특징을 추출하는 것이 바람직하다. 여기서 Dense SIFT 특징을 상기 입력 영상에서 추출하는 것이 바람직하다. 예를 들면 상기 Dense SIFT는 Andrea Vedaldi와 Brian Fulkerson이 "Vlfeat: an open and portable library of computer vision algorithms, Proceeding MM '10 Proceedings of the international conference on Multimedia" 및 "http://www.vlfeat.org/api/dsift.html"에서 제안한 방법을 이용할 수 있다.Here, the low dimensional feature extraction step (S111) preferably extracts features based on SIFT (Scale Invariant Feature Transform) from the input image with the feature feature. Here, it is preferable to extract the Dense SIFT feature from the input image. For example, the Dense SIFT is described by Andrea Vedaldi and Brian Fulkerson in " Vlfeat: an open and portable library of computer vision algorithms, Proceeding MM '10 Proceedings of the international conference on Multimedia " api / dsift.html "can be used.
또한 필요에 따라서 저차원 특징 추출 단계(S111)는 에지 특성이나 코너 특성, 또는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 등의 특징을 추출하여 이용할 수도 있다. 또한 여기서 SULF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 기존의 다양한 특징 서술(Feature Description) 방식을 이용할 수도 있다.If necessary, the low-dimensional feature extraction step S111 may also extract and use edge features, corner features, LoG (Laplacian of Gaussian), and DoG (Difference of Gaussian). Also, various existing feature description methods including SULF (Speed Up Robust Features) and HOG (Histogram of Oriented Gradients) may be used.
고차원 특징 추출 단계(S112)는 위와 같이 저차원 특징으로써 추출한 형태 특징과 색상 특징을 부호화하여 고차원 특징을 추출할 수 있다. 여기서 고차원 특징은 상기 형태 특징이나 색상 특징과 같은 저차원 특징들을 이용하여 생성하는 특징을 나타낸다. 여기서 고차원 특징 추출 단계(S112)는 영상 내 객체 또는 물체 마다 변화도가 큰 저차원 특징들을 군집화하거나 종합 또는 통합하여 보다 분별력이 있는 상위 차원의 특징을 생성하고 이용하기 위하여 상기 고차원 특징을 추출할 수 있다. 이를 위하여 바람직하게는 고차원 특징 추출 단계(S112)는 상기 형태 특징과 상기 색상 특징을 피셔 벡터 부호화(Fisher's Vector Encoding)하여 상기 고차원 특징을 획득할 수 있다. 여기서 피셔 벡터 부호화는 예를 들면 "F. Perronnin and C. Dance. Fisher kenrels on visual vocabularies for image categorizaton. In Proc. CVPR, 2006." 또는 "Florent Perronnin, Jorge Sㅱnchez, and Thomas Mensink. Improving the fisher kernel for large-scale image classification. In Proc. ECCV, 2010."에서 제안된 방법을 이용하여 수행할 수 있다.The high dimensional feature extraction step (S112) can extract the high dimensional features by encoding the shape features and color features extracted as the low dimensional feature as described above. Here, the high dimensional feature represents a feature to be generated using low dimensional features such as the shape feature or the color feature. Here, the high-dimensional feature extraction step (S112) can extract the high-dimensional features to generate and utilize more discriminating upper-level features by clustering, integrating or integrating low-dimensional features having a high degree of variation for each object or object in the image have. For this purpose, the high dimensional feature extraction step (S112) may obtain the high dimensional feature by Fisher's Vector encoding of the morphological feature and the color feature. Fischer vector coding is described, for example, in " F. Perronnin and C. Dance. Fisher kenrels on visual vocabularies for image categorization. In Proc. CVPR, 2006. " Or by using the method proposed by Florent Perronnin, Jorge Schnech, and Thomas Mensink, Improving the fisher kernel for large-scale image classification, In Proc. ECCV, 2010. "
다음으로 분류 단계(S113)는 상기 추출한 고차원 특징을 기반으로 미리 학습된 분류기를 이용하여 상기 입력 영상에 상기 음식 객체가 포함되었는지를 분류할 수 있다. Next, the classification step S113 can classify whether the food object is included in the input image using a classifier previously learned based on the extracted high dimensional feature.
여기서 분류기는 미리 음식 객체가 포함되었는지 여부에 대한 정보를 알고 있는 복수개의 학습용 영상에 대하여 위와 같이 추출한 저차원 및 고차원 특징에 기반하여 학습될 수 있고, 학습 과정에서 분류기가 이용하는 분류함수의 파라미터가 설정될 수 있다.Here, the classifier can be learned based on the low-dimensional and high-dimensional features extracted as above for a plurality of learning images that know information about whether or not the food object is included in advance, and the parameters of the classification function used by the classifier in the learning process are set .
바람직하게는 분류 단계(S113)는 다계층 서포트 벡터 머신(Hierarchical Support Vector Machine)에 기반한 상기 분류기를 이용하여 분류할 수 있다. 즉 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 분류할 수 있다. 예를 들면 여기서 다계층 서포트 벡터 머신은 "Schwenker, Friedhelm. "Hierarchical support vector machines for multi-class pattern recognition." Kes. 2000."에서 제안된 방법을 이용하여 수행될 수 있다.Preferably, the classification step S113 may be categorized using the classifier based on a hierarchical support vector machine. That is, whether the food object is included in the input image. For example, here a multi-layer support vector machine can be implemented using the method proposed in "Schwenker, Friedhelm." Hierarchical support vector machines for multi-class pattern recognition.
이하에서는 음식 카테고리 분류 단계(S120)에 대하여 보다 상세히 설명한다.Hereinafter, the food category classification step S120 will be described in more detail.
도 4는 음식 카테고리 분류 단계(S120)의 세부 흐름도이다.4 is a detailed flowchart of the food category classification step S120.
여기서 음식 카테고리 분류 단계(S120)는 저차원 특징 추출 단계(S121), 고차원 특징 추출 단계(S122), 분류 단계(S123)를 포함할 수 있다. 도 4에서는 상기 분류 단계(S123)를 음식 인식 단계(S110)의 분류 단계(S113)와 구별하여 지칭하기 위하여 제2 분류 단계(S123)로 표시하였다.Here, the food category classification step S120 may include a low dimensional feature extraction step S121, a high dimensional feature extraction step S122, and a classification step S123. In FIG. 4, the classification step S123 is indicated as a second classification step S123 in order to distinguish it from the classification step S113 of the food recognition step S110.
여기서 음식 카테고리 분류 단계(S120)는 음식 인식 단계(S110)와 동일한 방식으로 저차원 특징을 추출하고, 고차원 특징을 추출한 뒤 미리 학습된 분류기를 이용한 분류를 수행할 수 있다. 다만 여기서는 분류 단계(S123)에서 분류 단계(S113)와 같이 음식 영상인지 여부만을 분류하는 것이 아니라, 음식의 카테고리를 분류한다. 이하에서 저차원 특징 추출 단계(S121) 및 고차원 특징 추출 단계(S122)는 음식 인식 단계(S110)에서의 저차원 특징 추출 단계(S111) 및 고차원 특징 추출 단계(S112)와 동일하게 동작할 수 있으므로 간략히 서술한다. 또한 필요에 따라서는 이하 설명할 바와 같이 음식 인식 단계(S110)에서의 저차원 특징 추출 단계(S111) 및 고차원 특징 추출 단계(S112)에서 추출된 특징을 이용할 수도 있다.Here, the food category classification step S120 may extract the low-dimensional features in the same manner as the food recognition step S110, and perform classification using the previously learned classifiers after extracting the high-dimensional features. Here, in the classification step S123, as in the classification step S113, the category of the food is categorized instead of only the food image. Hereinafter, the low dimensional feature extraction step S121 and the high dimensional feature extraction step S122 may operate in the same manner as the low dimensional feature extraction step S111 and the high dimensional feature extraction step S112 in the food recognition step S110 Briefly, If necessary, the feature extracted in the low dimensional feature extraction step S111 and the high dimensional feature extraction step S112 in the food recognition step S110 may be used as described below.
저차원 특징 추출 단계(S121)는 상기 입력 영상으로부터 상기 입력 영상에 포함된 화소들의 영상 신호 값을 연산하여 상기 형태 특징과 상기 색상 특징을 추출한다. 여기서 저차원 특징 추출 단계(S121)는 상기 형태 특징으로 상기 입력 영상에서 SIFT(Scale Invariant Feature Transform) 기반의 특징을 추출할 수 있다.The low dimensional feature extraction step S121 extracts the shape feature and the color feature by calculating an image signal value of pixels included in the input image from the input image. Here, the low-dimensional feature extraction step S121 may extract features based on SIFT (Scale Invariant Feature Transform) from the input image with the feature feature.
고차원 특징 추출 단계(S122)는 상기 추출한 형태 특징과 색상 특징을 부호화하여 고차원 특징을 추출한다. 여기서 고차원 특징 추출 단계(S122)는 상기 형태 특징과 상기 색상 특징을 피셔 벡터 부호화(Fisher's Vector Encoding)하여 상기 고차원 특징을 획득할 수 있다.In the high-dimensional feature extraction step S122, the extracted feature features and color features are encoded to extract high-dimensional features. Here, the high dimensional feature extraction step S122 may obtain the high dimensional feature by Fisher's Vector encoding the shape feature and the color feature.
분류 단계(S123)는 상기 추출한 고차원 특징을 기반으로 미리 학습된 분류기를 이용하여, 상기 입력 영상에 포함된 상기 음식 객체가 미리 정해진 복수개의 상기 음식 카테고리들 중 어느 것에 해당하는지를 분류한다. 여기서 분류 단계(S123)는 다계층 서포트 벡터 머신(Hierarchical Support Vector Machine)에 기반한 상기 분류기를 이용하여 분류할 수 있다.The classifying step S123 classifies the food objects included in the input image into a plurality of predetermined food categories by using a classifier previously learned based on the extracted high dimensional features. The classification step S123 may be classified using the classifier based on a hierarchical support vector machine.
여기서 필요에 따라 음식 카테고리 분류 단계(S120)에서는 음식 인식 단계(S110)에서 기 추출한 형태 특징과 색상 특징과 그로부터 추출한 고차원 특징을 이용하여 분류 단계(S123)에서 분류 작업을 할 수도 있다. 도 5는 위와 같은 경우 본 발명의 일 실시예에 따른 음식 인식 단계 및 음식 카테고리 분류 단계의 세부 흐름도이다.If necessary, classification may be performed in the classification step S123 using the shape features and color features extracted in the food recognition step S110 and the high dimensional features extracted therefrom in the food category classification step S120. 5 is a detailed flowchart of the food recognition step and the food category classification step according to an embodiment of the present invention.
이하에서는 음식 색상 모델 결정 단계(S130)에 대하여 보다 상세히 설명한다.Hereinafter, the food color model determination step (S130) will be described in more detail.
음식 색상 모델 결정 단계(S130)는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 음식 색상 모델을 결정한다.The food color model determination step (S130) analyzes the global image signal information of the input image and the regional image signal information, and determines the food color model of the input image according to the analysis result.
여기서 상기 음식 색상 모델은 상기 음식 객체의 영상 신호의 색상 또는 밝기에 관한 미리 설정된 정보를 포함하는 색상 모델이 될 수 있다. 여기서 음식 색상 모델은 영상 신호 값의 범위를 한정하거나 영상 신호 값을 특정 범위 내로 변환하는 미리 정해진 규칙 정보를 포함할 수 있고, 영상 신호 값을 특정 값으로 변환하는 함수 또는 테이블에 관한 정보를 포함할 수도 있다.Here, the food color model may be a color model including predetermined information on the color or brightness of the image signal of the food object. Here, the food color model may include predetermined rule information for limiting the range of the image signal value or converting the image signal value into a specific range, and may include information about a function or table for converting the image signal value to a specific value It is possible.
여기서 음식 색상 모델 결정 단계(S130)는 전역적 영상 신호 정보 추출 단계(S131), 지역적 영상 신호 정보 추출 단계(S132), 색상 모델 분류 단계(S133)를 포함할 수 있다.Here, the food color model determination step S130 may include a global image signal information extraction step S131, a regional image signal information extraction step S132, and a color model classification step S133.
도 6은 음식 색상 모델 결정 단계의 세부 흐름도이다.6 is a detailed flowchart of the food color model determination step.
전역적 영상 신호 정보 추출 단계(S131)는 상기 입력 영상 전체의 영상 신호에 따른 상기 전역적 영상 신호 정보를 추출한다.The global video signal information extraction step S131 extracts the global video signal information according to the video signal of the entire input video.
여기서 전역적 영상 신호 정보 추출 단계(S131)는 상기 입력 영상에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출할 수 있다. 여기서 전역적 영상 신호 정보 추출 단계(S131)는 상기 입력 영상에 포함된 화소들의 밝기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출할 수 있다.Here, the global image signal information extraction step S131 may extract the histogram according to the size of the image signal value of the pixels included in the input image as the global image signal information. Here, the global image signal information extraction step S131 may extract the histogram according to the brightness of the pixels included in the input image as the global image signal information.
지역적 영상 신호 정보 추출 단계(S132)는 상기 입력 영상을 소정의 크기의 영상 블록으로 분할하고, 상기 분할한 각 영상 블록의 영상 신호에 따른 상기 지역적 영상 신호 정보를 추출한다. 예를 들면 상기 영상 블록은 4 x 4의 크기를 가질 수 있다. 또한 여기서 지역적 영상 신호 정보는 필요에 따라 입력 영상에 포함된 영상 블록 중 일부의 영상 블록에 대하여 추출될 수도 있다.The local image signal information extracting step S132 divides the input image into image blocks having a predetermined size and extracts the regional image signal information according to the image signals of the divided image blocks. For example, the image block may have a size of 4 x 4. Also, the local video signal information may be extracted for a part of the image blocks included in the input image as needed.
지역적 영상 신호 정보 추출 단계(S132)는 상기 영상 블록에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 지역적 영상 신호 정보로 추출할 수 있다. 여기서 지역적 영상 신호 정보 추출 단계(S132)는 상기 영상 블록에 포함된 화소들의 색상, 채도, 밝기에 따른 각 히스토그램을 상기 지역적 영상 신호 정보로 추출할 수 있다.The local image signal information extraction step (S132) may extract the histogram according to the size of the image signal value of the pixels included in the image block as the regional image signal information. Here, the regional image signal information extraction step (S132) may extract each histogram according to the hue, saturation, and brightness of the pixels included in the image block as the regional image signal information.
색상 모델 분류 단계(S133)는 상기 추출한 전역적 영상 신호 정보와 지역적 영상 신호 정보를 포함하는 특징 벡터에 기반하여 미리 학습된 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 음식 색상 모델 중 어느 것에 해당하는지를 결정한다.The color model classifying step S133 may include classifying the input image into the predetermined food color model using a classifier previously learned based on the feature vector including the extracted global image signal information and the regional image signal information .
즉 색상 모델 분류 단계(S133)에서는 입력 영상에 포함된 화소들의 밝기에 따른 히스토그램과 상기 영상 블록 별로 획득된 영상 신호값에 따른 히스토그램, 예를 들면 영상 블록 별로 획득된 색상, 채도 밝기에 따른 각 히스토그램을 특징 벡터로 추출할 수 있다. 그리고 위와 같이 추출한 특징 벡터를 미리 학습된 분류기에 입력하여 상기 입력 영상에 대응하는 상기 음식 색상 모델을 결정할 수 있다.That is, in the color model classification step S133, a histogram according to the brightness of the pixels included in the input image and a histogram according to the image signal value acquired for each of the image blocks, for example, a histogram Can be extracted as a feature vector. The feature vector extracted as described above may be input to a classifier previously learned to determine the food color model corresponding to the input image.
여기서 색상 모델 분류 단계(S133)는 가우시언 혼합 모델 또는 서포트 벡터 머신을 기반으로 하는 상기 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 음식 색상 모델 중 어느 것에 해당하는지를 결정할 수 있다.Here, the color model classification step S133 may determine which of the food color models the input image corresponds to, using the classifier based on the Gaussian mixture model or the support vector machine.
또한 여기서 음식 객체 인식 단계(S100)에서 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되어, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류하는 경우, 색상 모델 분류 단계(S133)는 상기 음식 객체 인식 단계(S100)에서 분류한 상기 음식 카테고리를 더 포함하는 상기 특징 벡터에 기반한 상기 분류기를 이용하여 상기 음식 색상 모델을 결정할 수 있다.In this case, when it is determined that the food object is included in the input image in the food object recognition step (S100) and the food category of the food object included in the input image is classified, the color model classification step (S133) The food color model may be determined using the classifier based on the feature vector further including the food category classified in the food object recognition step S100.
다음으로는 조명 상황 평가 단계(S200)에 대하여 보다 상세히 설명한다.Next, the illumination condition evaluation step (S200) will be described in more detail.
조명 상황 평가 단계(S200)는 조명 상황 평가부가 상기 입력 영상을 분석하여 상기 입력 영상의 조명 상황을 평가한다. 여기서 조명 상황은 상기 입력 영상이 촬영된 조명의 상황에 관한 정보로 일정한 종류로 미리 설정될 수 있다. 예를 들면 상기 조명 상황은 그늘진 조명 상황, 어두운 조명 상황, 밝은 조명 상황과 같이 설정될 수 있고, 또는 백열등 조명 상황, 자연광 조명 상황, 형광등 조명 상황 등과 같이 설정될 수도 있다.In the illumination condition evaluation step S200, the illumination condition evaluation unit analyzes the input image and evaluates the illumination condition of the input image. Here, the illumination condition may be preset to a certain type of information about the situation of the illumination of the input image. For example, the lighting conditions may be set as a shaded lighting condition, a dark lighting condition, a bright lighting condition, or may be set as an incandescent lighting condition, a natural lighting condition, a fluorescent lighting condition, or the like.
보다 상세하게는 조명 상황 평가 단계(S200)는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 조명 상황을 결정할 수 있다. 여기서 조명 상황 평가 단계(S200)는 상술한 음식 색상 모델 결정 단계(S130)에서와 동일한 방식으로 전역적 및 지역적 영상 신호 정보를 추출할 수 있고, 이들을 포함하는 특징 벡터를 생성하여 분류를 수행할 수 있다. 따라서 음식 색상 모델 결정 단계(S130)에서 상세히 설명한 동작을 동일하게 조명 상황 평가 단계(S200)에서 수행할 수 있다. 다만 여기서 조명 상황 평가 단계(S200)와 음식 색상 모델 결정 단계(S130)는 분류의 대상이 조명 상황과 음식 색상 모델로 서로 다르다는 점에서 상이함은 물론이다.More specifically, the illumination condition evaluation step (S200) may analyze the global image signal information and the regional image signal information of the input image and determine the illumination state of the input image according to the analysis result. Here, the illumination condition evaluation step S200 can extract the global and local image signal information in the same manner as in the above-described food color model determination step S130, and generate and classify the feature vectors including the global and local image signal information have. Therefore, the operation detailed in the food color model determination step (S130) can be similarly performed in the illumination condition evaluation step (S200). However, it is needless to say that the illumination condition evaluation step (S200) and the food color model determination step (S130) are different in that the objects to be classified are different from each other in illumination condition and food color model.
도 7은 조명 상황 평가 단계(S200)의 세부 흐름도이다.7 is a detailed flowchart of the illumination condition evaluation step (S200).
조명 상황 평가 단계(S200)는 전역적 영상 신호 정보 추출 단계(S210), 지역적 영상 신호 정보 추출 단계(S220), 조명 상황 분류 단계(S230)를 포함할 수 있다.The illumination condition evaluation step S200 may include a global image signal information extraction step S210, a regional image signal information extraction step S220, and a lighting condition classification step S230.
전역적 영상 신호 정보 추출 단계(S210)는 상기 입력 영상 전체의 영상 신호에 따른 상기 전역적 영상 신호 정보를 추출한다.The global video signal information extraction step (S210) extracts the global video signal information according to the video signal of the entire input video.
여기서 전역적 영상 신호 정보 추출 단계(S210)는 상기 입력 영상에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출할 수 있다. 이때 상기 입력 영상에 포함된 화소들의 밝기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출할 수 있다.Here, the global image signal information extraction step S210 may extract the histogram according to the size of the image signal values of the pixels included in the input image as the global image signal information. At this time, the histogram according to the brightness of the pixels included in the input image can be extracted as the global image signal information.
지역적 영상 신호 정보 추출 단계(S220)는 상기 입력 영상을 소정의 크기의 영상 블록으로 분할하고, 상기 분할한 각 영상 블록의 영상 신호에 따른 상기 지역적 영상 신호 정보를 추출한다.The local image signal information extracting step S220 divides the input image into image blocks having a predetermined size and extracts the regional image signal information according to the image signals of the divided image blocks.
또한 여기서 지역적 영상 신호 정보 추출 단계(S220)는 상기 영상 블록에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 지역적 영상 신호 정보로 추출할 수 있다. 이때 상기 영상 블록에 포함된 화소들의 색상, 채도, 밝기에 따른 각 히스토그램을 상기 지역적 영상 신호 정보로 추출할 수 있다.Here, the local image signal information extraction step S220 may extract the histogram according to the size of the image signal value of the pixels included in the image block as the regional image signal information. At this time, each histogram corresponding to color, saturation, and brightness of pixels included in the image block can be extracted as the regional image signal information.
조명 상황 분류 단계(S230)는 상기 추출한 전역적 영상 신호 정보와 지역적 영상 신호 정보를 포함하는 특징 벡터에 기반하여 미리 학습된 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 조명 상황 중 어느 것에 해당하는지를 분류한다.The illumination condition classifying step S230 classifies which of the predetermined illumination conditions the input image corresponds to using the previously learned classifier based on the feature vector including the extracted global image signal information and the regional image signal information do.
또한 여기서 조명 상황 분류 단계(S230)는 가우시언 혼합 모델 또는 서포트 벡터 머신을 기반으로 하는 상기 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 조명 상황 중 어느 것에 해당하는지를 분류할 수 있다.Here, the illumination condition classifying step S230 can classify the input image to which the illumination condition corresponds to the predetermined illumination condition, using the classifier based on the Gaussian mixture model or the support vector machine.
다음으로는 영상 보정 단계(S300)에 대하여 보다 상세히 설명한다.Next, the image correction step S300 will be described in more detail.
영상 보정 단계(S300)는 영상 보정부가 상기 입력 영상의 영상 신호 정보에 따른 음식 색상 모델과 상기 평가한 조명 상황에 따라, 상기 입력 영상의 시각적 풍미감을 증가시키기 위하여, 상기 입력 영상을 보정한다.In the image correction step S300, the image correction unit corrects the input image to increase the visual flavor of the input image according to the food color model according to the image signal information of the input image and the evaluated illumination condition.
영상 보정 단계(S300)는 상기 음식 색상 모델과 상기 조명 상황에 따라 미리 정해진 설정에 따라 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정할 수 있다. 여기서 영상 보정 단계(S300)는 상기 미리 정해진 설정에 따라서 톤 정합(Tone Matching) 보정이나 감마 보정(Gamma Correction)이나 색상 보정(Color balance Correction) 중 적어도 어느 하나를 수행하여, 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정할 수 있다. 예를 들면 여기서 색상 보정은 화소 단위로 어파인 변환을 수행하여 영상 내 색상 신호 값을 변환할 수 있다.The image correction step S300 may correct the image signal values of the pixels included in the input image according to the food color model and the predetermined setting according to the illumination condition. Here, the image correction step S300 may perform at least one of tone matching correction, gamma correction, and color balance correction according to the predetermined setting, The image signal values of the pixels can be corrected. For example, the color correction can convert the color signal value in an image by performing affine transformation on a pixel basis.
본 발명의 또 다른 실시예는 위에서 도 1 내지 도 7을 참조하면서 상세히 설명한 본 발명에 따른 음식 영상의 시각적 풍미 강조 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램이 될 수 있다.Yet another embodiment of the present invention can be a computer program stored on a medium for implementing a visual flavor enhancing method of a food image according to the present invention described in detail with reference to FIGS. 1 to 7 above.
도 8은 본 발명의 또 다른 실시예에 따른 음식 영상의 시각적 풍미 강조 장치 블록도이다.8 is a block diagram of a visual flavor emphasizing device for food images according to another embodiment of the present invention.
상기 본 발명의 또 다른 실시예에 따른 음식 영상의 시각적 풍미 강조 장치는 위에서 도 1 내지 도 7을 참조하면서 상세히 설명한 본 발명에 따른 음식 영상의 시각적 풍미 강조 방법이 동작하는 것과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 서술한다.The apparatus for enhancing a visual image of a food image according to another embodiment of the present invention can operate in the same manner as the method of enhancing a visual image of a food image according to the present invention described in detail with reference to FIGS. 1 to 7 have. The overlapping portions will be omitted and briefly described.
상기 본 발명의 또 다른 실시예에 따른 음식 영상의 시각적 풍미 강조 장치는 음식 객체 인식부(100), 조명 상황 평가부(200), 영상 보정부(300)를 포함할 수 있다.The apparatus for enhancing a visual image of a food image according to another embodiment of the present invention may include a food
음식 객체 인식부(100)는 입력 영상을 분석하여 상기 입력 영상에 음식 객체가 포함되었는지 여부를 판단한다.The food
조명 상황 평가부(200)는 상기 입력 영상을 분석하여 상기 입력 영상의 조명 상황을 평가한다.The illumination condition evaluation unit 200 analyzes the input image and evaluates the illumination condition of the input image.
여기서 조명 상황 평가부(200)는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 조명 상황을 결정할 수 있다.Here, the illumination condition evaluation unit 200 may analyze the global image signal information and the regional image signal information of the input image, and may determine the illumination state of the input image according to the analysis result.
영상 보정부(300)는 상기 입력 영상의 영상 신호 정보에 따른 음식 색상 모델과 상기 평가한 조명 상황에 따라, 상기 입력 영상의 시각적 풍미감을 증가시키기 위하여, 상기 입력 영상을 보정한다.The image correcting unit 300 corrects the input image to increase the visual flavor of the input image according to the food color model according to the image signal information of the input image and the evaluated illumination condition.
여기서 영상 보정부(300)는 상기 음식 색상 모델과 상기 조명 상황에 따라 미리 정해진 설정에 따라 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정할 수 있다.Here, the image correction unit 300 may correct the image signal values of the pixels included in the input image according to the food color model and the predetermined setting according to the illumination condition.
도 9는 음식 객체 인식부(100)의 세부 블록도이다.9 is a detailed block diagram of the food
음식 객체 인식부(100)는 음식 인식부(110), 음식 카테고리 분류부(120), 음식 색상 모델 결정부(130)를 포함할 수 있다.The food
음식 인식부(110)는 상기 입력 영상에서 상기 입력 영상에 포함된 객체의 형태에 따른 형태 특징과 상기 입력 영상에 포함된 색상에 따른 색상 특징을 추출하고, 상기 추출한 형태 특징 및 색상 특징을 이용하여, 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단한다.The
음식 카테고리 분류부(120)는 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류한다.The food
음식 색상 모델 결정부(130)는 상기 입력 영상의 영상 신호 정보에 따라 상기 음식 색상 모델을 결정하되, 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과와 상기 음식 카테고리에 따라 상기 입력 영상의 상기 음식 색상 모델을 결정한다.The food color
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like can be included.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
S100 : 음식 객체 인식 단계
S110 : 음식 인식 단계
S120 : 음식 카테고리 분류 단계
S130 : 음식 색상 모델 결정 단계
S200 : 조명 상황 평가 단계
S210 : 전역적 영상 신호 정보 추출 단계
S220 : 지역적 영상 신호 정보 추출 단계
S230 : 조명 상황 분류 단계
S300 : 영상 보정 단계
100 : 음식 객체 인식부
200 : 조명 상황 평가부
300 : 영상 보정부
110 : 음식 인식부
120 : 음식 카테고리 분류부
130 : 음식 색상 모델 결정부S100: Food object recognition step
S110: food recognition step
S120: food category classification step
S130: food color model determination step
S200: Lighting condition evaluation step
S210: Global video signal information extraction step
S220: Step of extracting regional video signal information
S230: Illumination condition classification step
S300: image correction step
100: food object recognition unit
200: lighting condition evaluation unit
300: image correction unit
110: Food recognition section
120: food category classification section
130: Food Color Model Decision Unit
Claims (21)
조명 상황 평가부가 상기 입력 영상을 분석하여 상기 입력 영상의 조명 상황을 평가하는 조명 상황 평가 단계; 및
영상 보정부가 상기 입력 영상의 영상 신호 정보에 따른 음식 색상 모델과 상기 평가한 조명 상황에 따라, 상기 입력 영상의 시각적 풍미감을 증가시키기 위하여, 상기 입력 영상을 보정하는 영상 보정 단계를 포함 하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.A food object recognition step of analyzing an input image and determining whether a food object is included in the input image;
An illumination condition evaluating step of analyzing the input image to evaluate an illumination condition of the input image; And
And an image correction step of correcting the input image in order to increase the visual flavor of the input image according to the food color model according to the image signal information of the input image and the evaluated illumination condition, A method of emphasizing the visual flavor of food images.
상기 음식 객체 인식 단계는 상기 입력 영상의 영상 신호 정보에 따라 상기 음식 색상 모델을 결정하는 음식 색상 모델 결정 단계를 더 포함하고,
상기 음식 색상 모델은 상기 음식 객체의 영상 신호의 색상 또는 밝기에 관한 미리 설정된 정보를 포함하는 색상 모델인 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.The method according to claim 1,
Wherein the food object recognition step further includes a food color model determination step of determining the food color model according to the image signal information of the input image,
Wherein the food color model is a color model that includes predetermined information about the color or brightness of the image signal of the food object.
상기 음식 객체 인식 단계는 상기 입력 영상에서 상기 입력 영상에 포함된 객체의 형태에 따른 형태 특징과 상기 입력 영상에 포함된 색상에 따른 색상 특징을 추출하고, 상기 추출한 형태 특징 및 색상 특징을 이용하여, 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.The method according to claim 1,
The food object recognition step may include extracting a shape feature according to a shape of an object included in the input image and a color feature according to a color included in the input image in the input image and using the extracted shape feature and color feature, And determining whether the food object is included in the input image.
상기 음식 객체 인식 단계는 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단하는 음식 인식 단계를 더 포함하고,
상기 음식 인식 단계는,
상기 입력 영상으로부터 상기 입력 영상에 포함된 화소들의 영상 신호 값을 연산하여 상기 형태 특징과 상기 색상 특징을 추출하는 저차원 특징 추출 단계;
상기 추출한 형태 특징과 색상 특징을 부호화하여 고차원 특징을 추출하는 고차원 특징 추출 단계; 및
상기 추출한 고차원 특징을 기반으로 미리 학습된 분류기를 이용하여 상기 입력 영상에 상기 음식 객체가 포함되었는지를 분류하는 분류 단계를 포함하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.The method of claim 3,
Wherein the food object recognition step further includes a food recognition step of determining whether the food object is included in the input image,
Wherein the food recognition step comprises:
A low dimensional feature extraction step of extracting the shape feature and the color feature by calculating an image signal value of pixels included in the input image from the input image;
A high-dimensional feature extraction step of extracting a high-dimensional feature by encoding the extracted feature and color features; And
And classifying whether the food object is included in the input image using a classifier previously learned based on the extracted high dimensional feature.
상기 음식 객체 인식 단계는 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류하는 음식 카테고리 분류 단계를 더 포함하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.The method of claim 3,
Wherein the food object recognition step further includes a food category classification step of classifying a food category of the food object included in the input image if it is determined that the food object is included in the input image, How to emphasize visual flavor.
상기 입력 영상으로부터 상기 입력 영상에 포함된 화소들의 영상 신호 값을 연산하여 상기 형태 특징과 상기 색상 특징을 추출하는 저차원 특징 추출 단계;
상기 추출한 형태 특징과 색상 특징을 부호화하여 고차원 특징을 추출하는 고차원 특징 추출 단계; 및
상기 추출한 고차원 특징을 기반으로 미리 학습된 분류기를 이용하여, 상기 입력 영상에 포함된 상기 음식 객체가 미리 정해진 복수개의 상기 음식 카테고리들 중 어느 것에 해당하는지를 분류하는 분류 단계를 포함하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.6. The method according to claim 5,
A low dimensional feature extraction step of extracting the shape feature and the color feature by calculating an image signal value of pixels included in the input image from the input image;
A high-dimensional feature extraction step of extracting a high-dimensional feature by encoding the extracted feature and color features; And
And classifying whether the food object included in the input image corresponds to a predetermined plurality of the food categories using a classifier previously learned based on the extracted high dimensional features. A method of emphasizing the visual flavor of images.
상기 저차원 특징 추출 단계는 상기 형태 특징으로 상기 입력 영상에서 SIFT(Scale Invariant Feature Transform) 기반의 특징을 추출하고,
상기 고차원 특징 추출 단계는 상기 형태 특징과 상기 색상 특징을 피셔 벡터 부호화(Fisher's Vector Encoding)하여 상기 고차원 특징을 획득하고,
상기 분류 단계는 다계층 서포트 벡터 머신(Hierarchical Support Vector Machine)에 기반한 상기 분류기를 이용하여 분류하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.The method according to claim 4 or 6,
The low-dimensional feature extraction step extracts SIFT (Scale Invariant Feature Transform) -based features from the input image with the feature feature,
Wherein the high dimensional feature extraction step comprises Fisher's Vector encoding of the morphological feature and the color feature to obtain the high dimensional feature,
Wherein the classifying step is performed using the classifier based on a hierarchical support vector machine.
상기 음식 색상 모델 결정 단계는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 음식 색상 모델을 결정하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.3. The method of claim 2,
Wherein the food color model determining step analyzes the global image signal information of the input image and the regional image signal information and determines the food color model of the input image according to the analysis result. Emphasis method.
상기 입력 영상 전체의 영상 신호에 따른 상기 전역적 영상 신호 정보를 추출하는 단계;
상기 입력 영상을 소정의 크기의 영상 블록으로 분할하고, 상기 분할한 각 영상 블록의 영상 신호에 따른 상기 지역적 영상 신호 정보를 추출하는 단계; 및
상기 추출한 전역적 영상 신호 정보와 지역적 영상 신호 정보를 포함하는 특징 벡터에 기반하여 미리 학습된 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 음식 색상 모델 중 어느 것에 해당하는지를 결정하는 색상 모델 분류 단계를 포함하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.9. The method of claim 8,
Extracting the global image signal information according to a video signal of the entire input image;
Dividing the input image into image blocks of a predetermined size and extracting the regional image signal information according to the image signals of the divided image blocks; And
And a color model classifying step of determining, based on the feature vector including the extracted global image signal information and the regional image signal information, whether the input image corresponds to the predetermined food color model using a previously learned classifier Wherein the visual flavor emphasizing method comprises the steps of:
상기 전역적 영상 신호 정보를 추출하는 단계는 상기 입력 영상에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출하고,
상기 지역적 영상 신호 정보를 추출하는 단계는 상기 영상 블록에 포함된 화소들의 영상 신호값의 크기에 따른 히스토그램을 상기 지역적 영상 신호 정보로 추출하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.10. The method of claim 9,
Wherein the extracting of the global image signal information comprises: extracting a histogram according to an image signal value of pixels included in the input image as the global image signal information;
Wherein the extracting of the regional image signal information comprises extracting a histogram according to a size of an image signal value of pixels included in the image block as the regional image signal information.
상기 색상 모델 분류 단계는 가우시언 혼합 모델 또는 서포트 벡터 머신을 기반으로 하는 상기 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 음식 색상 모델 중 어느 것에 해당하는지를 결정하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.10. The method of claim 9,
Wherein the color model classifying step determines whether the input image corresponds to the predetermined food color model using the classifier based on a Gaussian mixture model or a support vector machine. Way.
상기 음식 객체 인식 단계는 상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류하고,
상기 음식 색상 모델 결정 단계는 상기 음식 객체 인식 단계에서 분류한 상기 음식 카테고리를 더 포함하는 상기 특징 벡터에 기반한 상기 분류기를 이용하여 상기 음식 색상 모델을 결정하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.10. The method of claim 9,
Wherein the food object recognition step classifies a food category of the food object included in the input image if it is determined that the food object is included in the input image,
Wherein the food color model determination step determines the food color model using the classifier based on the feature vector further including the food category classified in the food object recognition step .
상기 조명 상황 평가 단계는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 조명 상황을 결정하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.The method according to claim 1,
Wherein the illumination condition evaluation step analyzes the global image signal information and the regional image signal information of the input image and determines the illumination condition of the input image according to the analysis result .
상기 입력 영상 전체의 영상 신호에 따른 상기 전역적 영상 신호 정보를 추출하는 단계;
상기 입력 영상을 소정의 크기의 영상 블록으로 분할하고, 상기 분할한 각 영상 블록의 영상 신호에 따른 상기 지역적 영상 신호 정보를 추출하는 단계; 및
상기 추출한 전역적 영상 신호 정보와 지역적 영상 신호 정보를 포함하는 특징 벡터에 기반하여 미리 학습된 분류기를 이용하여 상기 입력 영상이 미리 정해진 상기 조명 상황 중 어느 것에 해당하는지를 분류하는 조명 상황 분류 단계를 포함하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.14. The method according to claim 13,
Extracting the global image signal information according to a video signal of the entire input image;
Dividing the input image into image blocks of a predetermined size and extracting the regional image signal information according to the image signals of the divided image blocks; And
And classifying whether the input image corresponds to the predetermined illumination state using a classifier learned in advance based on a feature vector including the extracted global image signal information and local image signal information, Wherein the visual flavor emphasis method of the food image is characterized by:
상기 전역적 영상 신호 정보를 추출하는 단계는 상기 입력 영상에 포함된 화소들의 밝기에 따른 히스토그램을 상기 전역적 영상 신호 정보로 추출하고,
상기 지역적 영상 신호 정보를 추출하는 단계는 상기 영상 블록에 포함된 화소들의 색상, 채도, 밝기에 따른 각 히스토그램을 상기 지역적 영상 신호 정보로 추출하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.15. The method of claim 14,
Wherein the extracting of the global image signal information includes extracting a histogram according to brightness of pixels included in the input image as the global image signal information,
Wherein the extracting of the regional image signal information comprises extracting each histogram according to color, saturation, and brightness of the pixels included in the image block as the regional image signal information.
상기 영상 보정 단계는 상기 음식 색상 모델과 상기 조명 상황에 따라 미리 정해진 설정에 따라 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법The method according to claim 1,
Wherein the image correcting step corrects the image signal values of the pixels included in the input image according to the food color model and a predetermined setting according to the illumination condition
상기 영상 보정 단계는 상기 미리 정해진 설정에 따라서 톤 정합 보정이나 감마 보정이나 색상 보정 중 적어도 어느 하나를 수행하여, 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 방법.17. The method of claim 16,
Wherein the image correction step corrects the image signal values of the pixels included in the input image by performing at least one of tone matching correction, gamma correction, and color correction according to the predetermined setting. How to emphasize flavor.
상기 입력 영상을 분석하여 상기 입력 영상의 조명 상황을 평가하는 조명 상황 평가부; 및
상기 입력 영상의 영상 신호 정보에 따른 음식 색상 모델과 상기 평가한 조명 상황에 따라, 상기 입력 영상의 시각적 풍미감을 증가시키기 위하여, 상기 입력 영상을 보정하는 영상 보정부를 포함 하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 장치.A food object recognition unit for analyzing an input image and determining whether a food object is included in the input image;
An illumination condition evaluating unit for analyzing the input image and evaluating an illumination condition of the input image; And
And an image correcting unit for correcting the input image in order to increase the visual flavor of the input image according to the food color model according to the image signal information of the input image and the evaluated illumination condition, Visual flavor emphasizing device.
상기 입력 영상에서 상기 입력 영상에 포함된 객체의 형태에 따른 형태 특징과 상기 입력 영상에 포함된 색상에 따른 색상 특징을 추출하고, 상기 추출한 형태 특징 및 색상 특징을 이용하여, 상기 입력 영상에 상기 음식 객체가 포함되었는지 여부를 판단하는 음식 인식부;
상기 입력 영상에 상기 음식 객체가 포함된 것으로 판단되면, 상기 입력 영상에 포함된 상기 음식 객체의 음식 카테고리를 분류하는 음식 카테고리 분류부; 및
상기 입력 영상의 영상 신호 정보에 따라 상기 음식 색상 모델을 결정하되, 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과와 상기 음식 카테고리에 따라 상기 입력 영상의 상기 음식 색상 모델을 결정하는 음식 색상 모델 결정부를 포함하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 장치.20. The food object recognition system according to claim 19,
Extracting a shape feature according to a shape of an object included in the input image and a color feature according to a color included in the input image in the input image, and using the extracted shape feature and color feature, A food recognition unit for determining whether an object is included;
A food category classifying unit for classifying a food category of the food object included in the input image if it is determined that the food object is included in the input image; And
The method comprising the steps of: determining the food color model according to the image signal information of the input image, analyzing the global image signal information and the regional image signal information of the input image, And a food color model determining unit for determining a color model.
상기 조명 상황 평가부는 상기 입력 영상의 전역적 영상 신호 정보와 지역적 영상 신호 정보를 분석하고, 그 분석 결과에 따라 상기 입력 영상의 상기 조명 상황을 결정하고,
상기 영상 보정부는 상기 음식 색상 모델과 상기 조명 상황에 따라 미리 정해진 설정에 따라 상기 입력 영상에 포함된 화소들의 영상 신호값을 보정하는 것을 특징으로 하는 음식 영상의 시각적 풍미 강조 장치.20. The method of claim 19,
Wherein the illumination condition evaluating unit analyzes the global image signal information and the local image signal information of the input image and determines the illumination condition of the input image according to the analysis result,
Wherein the image correction unit corrects an image signal value of pixels included in the input image according to the food color model and a predetermined setting according to the illumination condition.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150127809A KR101718085B1 (en) | 2015-09-09 | 2015-09-09 | Apparatus and Method of Enhancing Visual Flavor of Food Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150127809A KR101718085B1 (en) | 2015-09-09 | 2015-09-09 | Apparatus and Method of Enhancing Visual Flavor of Food Image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170030334A true KR20170030334A (en) | 2017-03-17 |
| KR101718085B1 KR101718085B1 (en) | 2017-03-20 |
Family
ID=58502224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150127809A KR101718085B1 (en) | 2015-09-09 | 2015-09-09 | Apparatus and Method of Enhancing Visual Flavor of Food Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101718085B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111721760A (en) * | 2019-03-22 | 2020-09-29 | 台湾奈米碳素股份有限公司 | System and method for evaluating flavor of food material based on gas |
| KR20230018018A (en) * | 2021-07-29 | 2023-02-07 | 동의대학교 산학협력단 | System and method for provision of korean food information using artificial intelligence |
| CN115798685A (en) * | 2022-12-18 | 2023-03-14 | 重庆邮电大学 | Depression diet management method based on food image segmentation |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11185034A (en) * | 1997-12-24 | 1999-07-09 | Casio Comput Co Ltd | Image data correction device and recording medium recording image data correction processing program |
| JP2004192129A (en) * | 2002-12-09 | 2004-07-08 | Fuji Photo Film Co Ltd | Method and device for extracting facial area |
| US20130335418A1 (en) | 2011-02-25 | 2013-12-19 | Lg Electronics Inc. | Analysis of food items captured in digital images |
| JP2014155167A (en) * | 2013-02-13 | 2014-08-25 | Morpho Inc | Image processing apparatus, method, and program, and recording medium |
| JP2014211748A (en) * | 2013-04-18 | 2014-11-13 | ソニー株式会社 | Information processing apparatus and storage medium |
-
2015
- 2015-09-09 KR KR1020150127809A patent/KR101718085B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11185034A (en) * | 1997-12-24 | 1999-07-09 | Casio Comput Co Ltd | Image data correction device and recording medium recording image data correction processing program |
| JP2004192129A (en) * | 2002-12-09 | 2004-07-08 | Fuji Photo Film Co Ltd | Method and device for extracting facial area |
| US20130335418A1 (en) | 2011-02-25 | 2013-12-19 | Lg Electronics Inc. | Analysis of food items captured in digital images |
| JP2014155167A (en) * | 2013-02-13 | 2014-08-25 | Morpho Inc | Image processing apparatus, method, and program, and recording medium |
| JP2014211748A (en) * | 2013-04-18 | 2014-11-13 | ソニー株式会社 | Information processing apparatus and storage medium |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111721760A (en) * | 2019-03-22 | 2020-09-29 | 台湾奈米碳素股份有限公司 | System and method for evaluating flavor of food material based on gas |
| KR20230018018A (en) * | 2021-07-29 | 2023-02-07 | 동의대학교 산학협력단 | System and method for provision of korean food information using artificial intelligence |
| CN115798685A (en) * | 2022-12-18 | 2023-03-14 | 重庆邮电大学 | Depression diet management method based on food image segmentation |
| CN115798685B (en) * | 2022-12-18 | 2024-05-24 | 广西康久生物科技有限公司 | Depression diet management method based on food image segmentation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101718085B1 (en) | 2017-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460389B (en) | Type prediction method and device for identifying object in image and electronic equipment | |
| JP6719457B2 (en) | Method and system for extracting main subject of image | |
| AU685904B2 (en) | Produce recognition system | |
| da Costa Barbon et al. | Development of a flexible computer vision system for marbling classification | |
| Dubey et al. | Fruit and vegetable recognition by fusing colour and texture features of the image using machine learning | |
| US20150071530A1 (en) | Image processing apparatus and method, and program | |
| US20110274314A1 (en) | Real-time clothing recognition in surveillance videos | |
| TWI525555B (en) | Image processing apparatus and processing method thereof | |
| US20130071033A1 (en) | Classifier for use in generating a diffuse image | |
| CN107256543B (en) | Image processing method, image processing device, electronic equipment and storage medium | |
| KR101718085B1 (en) | Apparatus and Method of Enhancing Visual Flavor of Food Image | |
| KR20140096595A (en) | Method for image classification | |
| JPWO2018189802A1 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| KR101833943B1 (en) | Method and system for extracting and searching highlight image | |
| CN111368767A (en) | Method and device for identifying home material color tone and electronic equipment | |
| Simon et al. | DeepLumina: A method based on deep features and luminance information for color texture classification | |
| CN112465753B (en) | Pollen particle detection method and device and electronic equipment | |
| Bergman et al. | Perceptual segmentation: Combining image segmentation with object tagging | |
| Yusuf et al. | Human face detection using skin color segmentation and watershed algorithm | |
| JP2010186246A (en) | Image processing apparatus, method, and program | |
| KR101985474B1 (en) | A Robust Detection Method of Body Areas Using Adaboost | |
| Wang et al. | Recognition of multi-modal fusion images with irregular interference | |
| Jaiswal et al. | Saliency based automatic image cropping using support vector machine classifier | |
| Almobarak et al. | Classification of aesthetic photographic images using SVM and KNN classifiers | |
| CN117934972B (en) | Image screening method and system for pepper processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |