KR101284570B1 - 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법 - Google Patents

사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법 Download PDF

Info

Publication number
KR101284570B1
KR101284570B1 KR1020110122495A KR20110122495A KR101284570B1 KR 101284570 B1 KR101284570 B1 KR 101284570B1 KR 1020110122495 A KR1020110122495 A KR 1020110122495A KR 20110122495 A KR20110122495 A KR 20110122495A KR 101284570 B1 KR101284570 B1 KR 101284570B1
Authority
KR
South Korea
Prior art keywords
image
emotion
physical property
image quality
variable
Prior art date
Application number
KR1020110122495A
Other languages
English (en)
Other versions
KR20130056746A (ko
Inventor
손진훈
장은혜
최상섭
정명애
Original Assignee
한국전자통신연구원
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 충남대학교산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020110122495A priority Critical patent/KR101284570B1/ko
Publication of KR20130056746A publication Critical patent/KR20130056746A/ko
Application granted granted Critical
Publication of KR101284570B1 publication Critical patent/KR101284570B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영상의 화질에 대한 사용자의 감성이 반영된 감성변인을 산출하는 감성 산출부; 및 사용자가 만족하도록 영상의 화질을 향상시키기 위해 감성변인을 반영하여 영상의 물리적 속성을 조정하는 물리적 속성 조정부;를 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상장치를 구현하여 사용자별로 최적화된 영상화질을 제공하는 효과가 있다.

Description

사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법{Image quality enhancing device by reflecting user emotion and method of enhancing image quality}
본 발명은 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법에 관한 것으로, 보다 자세하게는 사용자의 감성이 반영된 감성변인을 산출하고 감성변인에 따라 영상의 물리적 속성을 조정하여 사용자에게 최적화된 화질을 제공하는 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법에 관한 것이다.
영상 표시 기술이 발달하면서 영상 표시 기기들도 점점 다양해지고 있다. 또한 개인 영상기기가 상용화되면서 현대인들은 수많은 영상들을 접하며 살아가고 있다.
컬러 텔레비젼이 보급되면서 현대인들은 일상적으로 뉴스, 드라마, 다큐멘터리, 뮤직비디오와 같이 송출되는 동영상에 노출되며 비디오 내지 DVD 플레이어가 보급되면서 극장에 가지 않더라도 집에서 손쉽게 다양한 장르의 영화감상이 가능해졌다. 또한 컴퓨터 모니터를 통해서 인터넷으로 제공되거나 개인이 완성한 다양한 디지털화된 이미지나 동영상을 감상한다.
이렇게 영상을 소비하는 행태가 다양해지면서 일상에서 흔히 접하는 TV나 모니터 등의 영상기기에서의 시각 디스플레이 방법으로 화질을 향상시키는 기술에 사용자의 감성을 반영함으로써 사용자의 만족도를 높이려는 연구가 활발하게 이루어지고 있다.
도 1은 한국등록특허 제10-995310호(이하 선행특허)의 TV영상 컨텐츠에 따라 감성을 반영한 화질향상 장치를 도시한 블럭도이다. 선행특허는 컨텐츠 판별부(10), 데이터베이스(20), 지각속성 변수 제어부(30) 및 지각속성 변수 조정부(40)로 구성된다.
데이터베이스(20)는 컨텐츠 종류에 따른 감성정보를 저장하고 있다. 구체적으로 감성정보는 컨텐츠 종류에 대응되는 하나 이상의 감정속성에 관한 정보, 그 감정속성들 각각에 대응되는 지각속성 변수들에 관한 정보, 각 감정속성이 컨텐츠 화질에 영향을 끼치는 정도에 대한 정보 및 각 지각속성 변수가 감정속성에 영향을 끼치는 정도에 대한 정보를 포함한다. 이러한 구성의 선행특허에서는 먼저 컨텐츠 판별부(10)에서 입력된 영상의 컨텐츠를 판별한다. 지각속성 변수 제어부(30)에서는 데이터베이스(20)를 참조하여 판별된 컨텐츠에서 요구되는 감성정보를 결정한다. 지각속성 변수 조정부(40)에서는 결정된 감성정보에 따라 입력된 영상의 지각속성 변수를 조정한다.
상술한 선행특허는 컨텐츠별로 감정속성이 이미 결정된 감성정보를 이용해 화질을 조정하는 것으로, 사용자에 따른 감정상태는 반영하지 않아 사용자별로 최적화된 화질을 제공할 수 없는 문제점이 있었다.
KR995310 10
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로, 사용자의 감성이 반영된 감성변인을 산출하고 감성변인에 따라 영상의 물리적 속성을 조정하여 사용자에게 최적화된 화질을 제공하는 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법을 제공하는 것을 목적으로 한다.
본 발명의 그 밖의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 관련하여 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명확해질 것이다.
상기와 같은 본 발명의 목적은 영상의 화질에 대한 사용자의 감성이 반영된 감성변인을 산출하는 감성 산출부; 및 감성변인을 반영하여 영상의 물리적 속성을 변경하는 물리적 속성 조정부;를 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상장치에 의해 달성될 수 있다.
그리고 감성변인은 화질에 대한 사용자의 감성을 표현하는 하나 이상의 단어를 포함한다.
또한 감성변인은‘지저분하다-깔끔하다',‘더럽다-깨끗하다’,‘침울하다-산뜻하다’,‘긴장된다-편안하다’,‘거칠다-매끄럽다’,‘어둡다-밝다’,‘수수하다-화려하다’,‘단조롭다-변화스럽다’,‘흐릿하다-선명하다’,‘자연스럽다’,‘감각적이다’및‘만족스럽다’중 적어도 하나와 동일 또는 유사한 단어를 포함한다.
그리고 물리적 속성은 영상의 밝기, 명암, 선명도, 색농도 및 색상 중 적어도 하나를 변경시킨다.
또한 물리적 속성은 휘도, 색좌표값, 색온도, 삼자극치 중 적어도 하나를 포함한다.
그리고 물리적 속성은 CIE가 규정한 색공간에 기초하여 조정된다.
그리고 물리적 속성은 산출된 감성변인에 따라 적어도 하나 특정된다.
그리고 물리적 속성은 산출된 감성변인에 따라 기결정된 가중치로 조정된다.
그리고 영상, 산출된 감성변인 및 사용자가 만족하는 화질을 얻기 위한 감성변인과 물리적 속성의 관계에 대한 정보 중 적어도 하나가 저장되는 데이터베이스;를 더 포함한다.
그리고 영상의 컨텐츠를 식별하여 감성 산출부로 전송하는 컨텐츠 식별부;를 더 포함한다.
또한 감성변인은 식별된 컨텐츠에 따라 기결정된 가중치가 부여된다.
또한 감성변인은 식별된 컨텐츠에 따라 적어도 하나 특정된다.
한편 상기와 같은 본 발명의 목적은 영상이 입력되는 영상입력단계; 영상의 화질에 대한 사용자의 감성을 반영하여 감성변인을 산출하는 감성변인 산출단계; 및 산출된 감성변인에 따라 영상의 물리적 속성을 조정하는 물리적 속성 조정단계;를 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법에 의해 달성될 수 있다.
그리고 물리적 속성 조정단계는 감성변인에 따라 물리적 속성이 특정된다.
그리고 물리적 속성 조정단계는 감성변인에 따라 물리적 속성에 기결정된 가중치를 부여하여 조정한다.
그리고 물리적 속성은 영상의 밝기, 명암, 선명도, 색농도 및 색상 중 적어도 하나를 변경시킨다.
또한 물리적 속성은 휘도, 색좌표값, 색온도, 삼자극치 중 적어도 하나를 포함한다.
또한 물리적 속성은 CIE가 규정한 색공간에 기초하여 조정된다.
그리고 영상의 컨텐츠를 식별하는 컨텐츠 식별단계;를 더 포함한다.
또한 물리적 속성 조정단계는 영상의 컨텐츠에 따라 반영되는 감성변인이 특정된다.
또한 물리적 속성 조정단계는 영상의 컨텐츠에 따라 감성변인에 기특정된 가중치를 부여한다.
본 발명에 따르면, 사용자가 입력된 영상에 대한 감성평가를 하고 감성평가 결과를 반영하여 산출한 감성변인에 따라 영상의 화질을 조정하므로 사용자별로 최적화된 영상화질을 제공할 수 있는 효과가 있다.
또한 본 발명에 따르면, 컨텐츠별로 사용자가 감성평가를 하므로 컨텐츠에 따른 사용자의 감성이 반영되어 최적화된 영상화질을 제공할 수 있는 효과가 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 종래의 한국등록특허 제10-995310호의 TV영상 컨텐츠에 따라 감성을 반영한 화질향상 장치를 도시한 블럭도,
도 2는 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상장치를 도시한 블럭도,
도 3 내지 도 5는 영상 화질의 밝기에 대한 10개 감성변인의 평정치를 도시한 그래프,
도 6은 영상 화질의 명암에 대한 1개 감성변인의 평정치를 도시한 그래프,
도 7은 영상 화질의 색농도에 대한 5개 감성변인의 평정치를 도시한 그래프,
도 8은 영상 화질의 색상에 대한 4개 감성변인의 평정치를 도시한 그래프,
도 9는 본 발명의 제2실시예에 따른 사용자의 감성을 반영한 영상화질 향상장치를 도시한 블럭도,
도 10은 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법을 도시한 흐름도,
도 11은 본 발명의 제2실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법을 도시한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있도록 바람직한 실시예를 상세하게 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
<구성 및 기능>
본 발명에서의 영상(1)은 정지된 이미지와 동적인 이미지를 포함한다. 예를 들어, 영상(1)은 사진과 같은 정적 이미지나 영화, 스포츠, 뮤직비디오, 뉴스, 다큐멘터리, 광고 등 다양한 동영상을 포함한다. 그리고 영상(1)은 안테나, 인터넷, DVD플레이어와 같은 영상재생장치 등 다양한 장치를 통해 입력된다.
도 2는 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상장치를 도시한 블럭도이다. 도 2를 참조하여 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상장치를 상세하게 설명한다.
본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상 장치는 대략 감성 산출부(100), 물리적 속성 조정부(200) 및 데이터베이스(300)로 구성된다.
감성 산출부(100)에서는 영상(1)의 화질에 대한 사용자의 감성이 감성변인으로 산출된다. 또한 감성산출부(100)는 영상(1)에 따라 산출된 감성변인정보를 후술할 물리적 속성 조정부(200)로 전송한다. 구체적으로 감성은 감성평가척도에 따라 사용자에 의해 측정되며 감성평가척도는 실험적으로 도출될 수 있다. 예를 들어, 감성평가척도는 영상 화질을 대표적으로 표현할 수 있는 감성 형용사를 감성변인으로 하여 특정 점수로 측정될 수 있다. 구체적으로 감성변인은‘지저분하다-깔끔하다’,‘흐릿하다-선명하다’,‘더럽다-깨끗하다’, ‘침울하다-산뜻하다’, ‘긴장된다-편안하다’, ‘거칠다-매끄럽다’, ‘어둡다-밝다’, ‘수수하다-화려하다’, ‘단조롭다-변화스럽다’, ‘자연스럽다’, ‘감각적이다’, ‘만족스럽다’의 12개 감성 형용사 조합으로 구성될 수 있다. 그리고 감성변인은 7점 척도로 측정된다.
도 3 내지 도 5는 영상 화질의 밝기에 대한 10개 감성변인의 평정치를 도시한 그래프이다. 도 3 내지 도 5를 참조하여 영상 화질의 밝기와 10개 감성변인의 관계를 설명한다. 밝기(brightness)는 화면의 밝고 어두운 정도를 의미하는 것으로 0부터 100까지의 설정치로 x축에 표시되었다. 설정치의 값이 커질수록 밝아지는 것을 의미한다. 감성변인으로써 10개 감성 형용사 조합이 화질의 밝기에 대한 적합도 평가를 통해 선정되었다. 각 형용사에 대한 형용사 평정치는 y축에 표시되었으며 유사성 평정을 통해 0부터 7까지의 척도로 실험적으로 도출되었다. 도시된 바와 같이 밝기는 모든 형용사와 정적인 관계를 보인다. 사용자는 화질이 밝을수록 ‘깔끔하고, 깨끗하고, 산뜻하고, 편안하고, 매끄럽고, 밝고, 화려하고, 변화스럽고, 만족스럽고, 자연스럽고, 감각적’인 것으로 지각하였다.
도 6은 영상 화질의 명암에 대한 1개 감성변인의 평정치를 도시한 그래프이다. 도 6을 참조하여 화질의 명암과 감성변인의 관계를 설명한다. 명암(contrast)은 배경화면에 대한 영상의 대비로, 색의 농담이나 밝기의 정도를 의미한다. 명암은 0부터 100까지의 설정치로 x축에 표시되었으며 설정치의 값이 커질수록 색의 농담이 옅어지고 밝아짐을 의미한다. 화질의 명암에 대한 적합도 평가를 통해 1개의 감성 형용사 조합이 감성변인으로 선정되었다.‘어둡다-밝다’에 대한 형용사 평정치는 y축에 표시되었으며 유사성 평정을 통해 0부터 7까지의 척도로 실험적으로 도출되었다. 도시된 바와 같이, 명암은 ‘어둡다-밝다’의 감성과 정적 관계를 보여, 명암대비가 클수록 사용자들은 화질이 밝은 것으로 지각하였다.
도 7은 영상 화질의 색농도에 대한 5개 감성변인의 평정치를 도시한 그래프이다. 도 7을 참조하여 화질의 색농도와 감성변인의 관계를 설명한다. 색농도(color)는 색의 짙고 옅은 정도를 의미한다. 색농도는 0부터 100까지의 설정치로 x축에 표시되었으며 설정치의 값이 커질수록 색이 짙어지고 작아질수록 색이 옅어지면서 흑백에 가깝게 되는 것을 의미한다. 화질의 색농도에 대한 적합도 평가를 통해 5개의 감성 형용사가 감성변인으로써 선정되었다. 5개의 형용사에 대한 형용사 평정치는 y축에 표시되었으며 유사성 평정을 통해 0부터 7까지의 척도로 실험적으로 도출되었다. 도시된 바와 같이, 색농도는 높을수록 ‘산뜻하고, 밝고, 화려하며, 변화스럽다’고 지각되었으나, 색농도가 중간일 때 화질이‘매끄럽다’고 지각되는 것으로 나타났다.
도 8은 영상 화질의 색상에 대한 4개 감성변인의 평정치를 도시한 그래프이다. 도 8을 참조하여 화질의 색상과 감성변인의 관계를 설명한다. 색상(tint)은 색의 붉고 푸른 정도(적색과 녹색의 정도)를 의미한다. 색상은 0부터 100까지의 설정치로 x축에 표시되었으며 설정치의 값이 커지면 적색을 띄게 되고 작아질수록 녹색을 띄게 됨을 의미한다. 화질의 색상에 대한 적합도 평가를 통해 감성변인으로써 4개의 감성 형용사가 선정되었다. 4개의 형용사에 대한 형용사 평정치는 y축에 표시되었으며 유사성 평정을 통해 0부터 7까지의 척도로 실험적으로 도출되었다. 도시된 바와 같이, 색상에 대해서 사용자들은 녹색과 적색의 중간치에서 ‘깔끔하고, 깨끗하며, 만족스럽다’는 감성을 보였고, 녹색으로 치우칠수록 ‘편안하며’, 적색으로 갈수록 ‘긴장된다’고 지각하였다.
상술한 형용사 이외에도 영상의 밝기, 명암, 색농도, 색상에 영향을 받는 다양한 감성 수사가 감성변인으로 설정될 수 있음은 물론이다.
물리적 속성 조정부(200)는 산출된 감성변인에 따라 영상(1)의 물리적 속성을 조정하여 사용자의 감성이 반영된 최적 화질을 제공한다. 물리적 속성은 영상(1) 화질의 밝기, 명암, 색농도, 색상, 선명도 등에 영향을 주는 물리적 속성을 말한다. 밝기, 명암, 색농도, 색상은 상술한 바와 같다. 선명도(sharpness)는 선명하고 흐림 또는 산뜻하고 뚜렷한 정도로 사물의 윤곽을 나타낸다.
구체적으로 물리적 속성은 CIE(국제 조명위원회)에서 규정한 다양한 색공간(XYZ 색공간, xyY색공간, L*u*v* 색공간, L*a*b* 색공간 등)에 기초하여 조정될 수 있다. 또한 여러 색채연구소 내지 색체연구기관에서 개발한 색좌표계에 바탕하여 조정될 수 있다. 예를 들어 물리적 속성은 휘도, 색온도, 색좌표값, 삼자극치 등이며 RGB값에 기초하여 조정될 수 있다. 이러한 물리적 속성은 사용자가 측정한 감성에 따라 산출된 특정 감성변인에 대응하여 특정되며, 산출된 특정 감성변인에 대응하여 기결정된 가중치가 부여되어 조정된다. 예를 들어 [표 1]과 같이 영상(1)의 특정 물리적 속성에 기결정된 가중치가 부여된다.
감성 변인 설명변량 물리적 속성의 가중치
수수-화려하다 0.782 만족스럽다 = -0.676*Red휘도+0.522*Green색좌표값Y
긴장-편안하다 0.718 만족스럽다 = 1.082*Red휘도+(-0.708)*Red주파장+0.499*Green색좌표값X
지저분-깔끔하다 0.391 만족스럽다 = 0.625*90%White휘도
어둡-밝다 0.377 만족스럽다 = 0.614*Red휘도
침울-산뜻하다 0.243 만족스럽다 = -0.493*Blue주파장
거칠-매끄럽다 0.197 만족스럽다 = 0.444*Blue주파장
단조-변화스럽다 0.847 만족스럽다 = -1.037*Green밴드폭+(-0.523)*Blue PEAK+(-0.833)*Green색좌표값Y+(-0.533)*Green색좌표값Z
더럽-깨끗하다 0.417 만족스럽다 = -0.452*90%White삼자극치X+(-0.410)* Green주파장
흐릿-선명하다 0.551 만족스럽다 = 0.742*Red휘도
감각적이다 0.509 만족스럽다 = -0.511*Red삼자극치X+(-0.386)*Green색좌표값X
자연스럽다 0.474 만족스럽다 = 0.689*Red휘도
[표 1]은 특정 감성변인에 따른 영상(1) 화질의 최적화를 위해 특정된 물리적 속성과 그 물리적 속성에 부여된 가중치를 예시한 것이다. 감성변인은 상술한 바와 같이 사용자가 감성산출부(100)에서 영상(1)의 화질에 대해 갖는 감성을 나타낸 것이다. 물리적 속성 가중치는 각 감성변인에 대해 영상(1)의 특정 물리적 속성을 가중치만큼 조정하여 사용자가 '만족스럽다'는 감성을 갖도록 결정된 것이다. 이러한 물리적 속성 가중치는 상술한 감성변인과 화질과의 관계 그래프를 바탕으로 통계적 분석으로 결정될 수 있다. 설명변량이란 물리적 속성의 가중치가 감성변인에 대해 만족스럽게 화질을 향상시켰는지 나타내는 척도로 0부터 1 사이의 값을 가지며 값이 클수록 관련도가 높다. 예를 들어, 영상(1)의 감성변인이 '단조-변화스럽다'인 경우 사용자가 만족하도록 화질을 향상시키기 위해서는 Green밴드폭, Blue피크, Green색좌표값Y, Green색좌표값Z를 조정하는 것이 바람직하다. 그리고, [표 1]에서 나타낸 바와 같이 영상(1)의 각 물리적 속성에 대해 가중치를 부여하여 조정하면 84.7%의 확률로 사용자가 '만족스럽다'고 느끼게 된다. [표 1]에서와 같이 휘도, 색온도, 색좌표값과 같은 물리적 속성은 RGB값에 따라 가중치가 부여될 수 있다. [표 1]에서 나타낸 물리적 속성 이외에도 사용자가 '만족스럽다'는 감성을 느낄 수 있도록 특정 감성변인을 갖는 영상의 물리적 속성을 가중치에 따라 조정할 수 있다. 다만, 산출된 감성변인이 '만족스럽다'인 경우 물리적 속성은 조정되지 않는다.
데이터베이스(300)는 입력된 영상(1)과 상술한 감성산출부(100)에서 입력된 감성변인이 저장된다. 또한 [표 1]과 같이 각 감성변인에 대해 최적의 화질을 제공하도록 특정된 물리적 속성 및 그 물리적 속성에 대한 가중치를 포함한 물리적 속성 가중치 정보가 저장될 수 있다.
도 9는 본 발명의 제2실시예에 따른 사용자의 감성을 반영한 영상화질 향상장치를 도시한 블럭도이다. 도 9를 참조하여 본 발명의 제 2실시예에 따른 사용자의 감성을 반영한 영상화질 향상 장치를 상세하게 설명한다.
본 발명의 제2실시예에 따른 사용자의 감성을 반영한 영상화질 향상 장치는 대략 감성 산출부(100), 물리적 속성 조정부(200), 데이터베이스(300) 및 컨텐츠 식별부(400)로 구성된다.
컨텐츠 식별부(400)는 입력된 영상(1)의 컨텐츠, 즉 내용을 식별한다. 예를 들어, 애니메이션, 영화, 다큐멘터리, 인물, 풍경, 정물, 실내 등과 같이 영상이 담고 있는 내용을 식별한다. 또한 컨텐츠 식별부(400)는 컨텐츠가 식별된 영상(1)을 컨텐츠 식별정보와 함께 데이터베이스(300)로 전송한다. 그리고 컨텐츠 식별부(400)는 감성 산출부(100)로 영상(1)을 전송한다.
감성 산출부(100)는 상술한 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상 장치의 대응하는 구성요소와 동일하다.
물리적 속성 조정부(200)는 감성변인이 산출된 영상(1)의 물리적 속성을 조정한다. 물리적 속성 조정부(200)는 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상장치에서와 동일한 방식으로 물리적 속성을 조절한다. 또한 물리적 속성 조정부(200)는 영상(1)의 컨텐츠에 따른 특성도 반영하여 물리적 속성을 조정한다. 즉 특정 컨텐츠에 대응하는 특정 감성변인에 가중치가 부여되고 해당 감성변인에 대해 [표 1]에 따른 물리적 속성이 조정된다. 예를 들어, [표 2]와 같이 컨텐츠별로 특정된 감성변인에 가중치가 부여된다.
컨텐츠 설명변량 감성변인의 가중치
인물 0.798 만족스럽다 = 0.585*자연스럽다+0.421*매끄럽다
실내 0.875 만족스럽다 = 0.648*자연스럽다+0.366*산뜻하다
정물 0.788 만족스럽다 = 0.651*자연스럽다+0.316*깔끔하다
풍경 0.724 만족스럽다 = 0.851*자연스럽다
[표 2]는 특정 컨텐츠에 해당하는 영상(1)의 화질을 그 컨텐츠에 적합하게 향상시키기 위해 관련도가 높은 감성변인을 특정하고 특정된 감성변인에 부여된 가중치를 예시한 것이다. 즉, 감성변인의 가중치는 각 컨텐츠에 대해 사용자가 '만족스럽다'는 감성을 갖도록 결정된 것이다. 설명변량은 해당 컨텐츠와 특정 감성변인과의 관련성을 보여주는 것으로 0부터 1 사이의 값으로 나타낸다. 예를 들어, 인물의 경우, 가장 만족스러운 화질을 결정하는 형용사는 ‘자연스럽다’, ‘거칠다-매끄럽다’이다. 인물 영상의 물리적 속성 조정시 '자연스럽다'라는 감성변인에 0.585의 가중치를 주고, '매끄럽다'는 감성변인에 0.421의 가중치를 주면 79.8%의 사용자가 '만족스럽다'고 느끼게 된다. 마찬가지로, 실내의 최적 화질은‘자연스럽다’, ‘침울하다-산뜻하다’의 감성변인에 의해 가장 잘 설명되고, 정물 영상은 ‘자연스럽다’, ‘지저분하다-깔끔하다’에 의해 가장 잘 설명된다. 풍경에 대한 최적 화질을 결정하는 감성은 ‘자연스럽다’이다.
[표 2]에 나타난 컨텐츠 외에도 다양한 컨텐츠에 따라 사용자가 '만족스럽다'는 감성을 느낄 수 있도록 관련성이 높은 감성변인에 가중치를 부여하여 물리적 속성 조정에 반영할 수 있다. 다만, 산출된 감성변인이 '만족스럽다'인 경우 물리적 속성은 조정되지 않는다.
데이터베이스(300)는 상술한 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상장치의 대응구성요소와 동일하며 영상(1)의 컨텐츠 정보 및 컨텐츠별로 특정된 감성변인과 그 감성변인의 가중치 정보가 더 저장될 수 있다.
<영상화질 향상방법>
도 10은 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법을 도시한 흐름도이다. 도 10을 참조하여 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법을 설명한다. 본 발명의 제1실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법은 대략 영상입력 단계(S110), 감성변인 산출단계(S120) 및 물리적 속성 조정단계(S130)로 이루어진다.
먼저 영상입력단계(S110)에서는 감성 산출부(100)로 영상(1)이 입력된다.
감성변인 산출단계(S120)에서는 입력된 영상(1)의 화질에 대해 사용자가 느낀 감성이 입력되면 감성산출부(100)에서 감성을 반영한 감성변인을 산출한다. 구체적으로 감성은 상술한 바와 같이 영상의 화질에 대한 사용자의 감성을 표현하는 하나 이상의 단어를 포함하는 감성변인으로 산출된다.
물리적 속성 조정단계(S130)에서는 물리적 속성 조정부(200)에서 해당 감성변인에 따라 특정된 하나 이상의 물리적 속성이 기결정된 가중치로 조정된다. 예를 들어 [표 1]에 따라 물리적 속성이 조정되어 영상(1)의 화질이 향상된다. 따라서 영상(1)에 대한 사용자의 감성이 반영되어 화질이 향상되므로 사용자별로 최적화된 영상을 제공할 수 있다.
도 11은 본 발명의 제2실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법을 도시한 흐름도이다. 도 11을 참조하여 본 발명의 제2실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법을 설명한다.
본 발명의 제2실시예에 따른 사용자의 감성을 반영한 영상화질 향상방법은 대략 영상입력 단계(S210), 컨텐츠 식별단계(S220), 감성변인 산출단계(S230) 및 물리적 속성 조정단계(S240)로 이루어진다.
먼저 영상입력 단계(S210)는 영상(1)이 컨텐츠 식별부(400)로 입력된다.
다음으로 컨텐츠 식별단계(S220)에서는 입력된 영상(1)의 컨텐츠가 식별된다.
감성변인 산출단계(S230)에서는 입력된 영상(1)의 화질에 대해 사용자가 느낀 감성이 입력되면 감성산출부(100)에서 감성을 반영한 감성변인을 산출한다. 구체적으로 감성은 상술한 바와 같이 영상의 화질에 대한 사용자의 감성을 표현하는 하나 이상의 단어를 포함하는 감성변인으로 산출된다.
물리적 속성 조정단계(S240)에서는 해당 감성변인에 따라 특정된 하나 이상의 물리적 속성이 기결정된 가중치로 조정된다. 또한 감성변인은 해당 컨텐츠에 대응하여 특정된 감성변인일 경우 기결정된 가중치로 조정되어 반영될 수 있다. 예를 들어 [표 1]과 [표 2]에 따라 감성변인과 해당 감성변인에 대응하는 물리적 속성이 조정되어 영상(1)의 화질이 향상된다. 따라서 영상(1)에 대한 사용자의 감성이 반영되어 화질이 향상되므로 사용자별로 최적화된 영상을 제공할 수 있다. 또한 컨텐츠의 특성도 고려하므로 보다 최적화된 영상을 제공할 수 있다.
이상에서 설명한 바와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1 : 영상 10 : 컨텐츠 판별부
20 : 데이터베이스 30 : 지각속성 변수 제어부
40 : 지각속성 변수 조정부
100 : 감성 산출부 200 : 물리적 속성 조정부
300 : 데이터 베이스 400 : 컨텐츠 식별부

Claims (21)

  1. 영상(1)의 화질에 대한 사용자의 감성이 반영된 감성변인을 산출하는 감성 산출부(100); 및
    상기 감성변인을 반영하여 상기 영상(1)의 물리적 속성을 조정하는 물리적 속성 조정부(200);를 포함하되,
    상기 물리적 속성은 CIE가 규정한 색공간에 기초하여 조정되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  2. 제 1항에 있어서,
    상기 감성변인은 화질에 대한 상기 사용자의 감성을 표현하는 하나 이상의 단어를 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상장치.
  3. 제 2항에 있어서,
    상기 감성변인은‘지저분하다-깔끔하다',‘더럽다-깨끗하다’,‘침울하다-산뜻하다’,‘긴장된다-편안하다’,‘거칠다-매끄럽다’,‘어둡다-밝다’,‘수수하다-화려하다’,‘단조롭다-변화스럽다’,‘흐릿하다-선명하다’,‘자연스럽다’,‘감각적이다’및‘만족스럽다’중 적어도 하나와 동일 또는 유사한 단어를 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상장치.
  4. 제 1항에 있어서,
    상기 물리적 속성은 상기 영상(1)의 밝기, 명암, 선명도, 색농도 및 색상 중 적어도 하나를 변경시키는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  5. 제 4항에 있어서,
    상기 물리적 속성은 휘도, 색좌표값, 색온도 및 삼자극치 중 적어도 하나를 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  6. 삭제
  7. 제 1항에 있어서,
    상기 물리적 속성은 산출된 상기 감성변인에 따라 적어도 하나 특정되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  8. 제 1항에 있어서,
    상기 물리적 속성은 산출된 상기 감성변인에 따라 기결정된 가중치로 조정되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  9. 제 1항에 있어서,
    상기 영상(1), 산출된 상기 감성변인 및 사용자가 만족하는 화질을 얻기 위한 감성변인과 물리적 속성의 관계에 대한 정보 중 적어도 하나가 저장되는 데이터베이스(300);를 더 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  10. 제 1항에 있어서,
    상기 영상(1)의 컨텐츠를 식별하여 상기 감성 산출부(100)로 전송하는 컨텐츠 식별부(400);를 더 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  11. 제 10항에 있어서,
    상기 감성변인은 상기 식별된 컨텐츠에 따라 기결정된 가중치가 부여되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  12. 제 10항에 있어서,
    상기 감성변인은 상기 식별된 컨텐츠에 따라 적어도 하나 특정되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상 장치.
  13. 영상(1)이 입력되는 영상입력단계;
    상기 영상(1)의 화질에 대한 사용자의 감성을 반영하여 감성변인을 산출하는 감성변인 산출단계; 및
    산출된 감성변인에 따라 상기 영상(1)의 물리적 속성을 조정하는 물리적 속성 조정단계;를 포함하되,
    상기 물리적 속성 조정단계는 상기 감성변인에 따라 상기 물리적 속성이 특정되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
  14. 삭제
  15. 제 13항에 있어서,
    상기 물리적 속성 조정단계는 상기 감성변인에 따라 상기 물리적 속성에 기결정된 가중치를 부여하여 조정하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
  16. 제 13항에 있어서,
    상기 물리적 속성은 상기 영상(1)의 밝기, 명암, 선명도, 색농도 및 색상 중 적어도 하나를 변경시키는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
  17. 제 16항에 있어서,
    상기 물리적 속성은 휘도, 색좌표값, 색온도, 삼자극치 중 적어도 하나를 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
  18. 제 13항에 있어서,
    상기 물리적 속성은 CIE가 규정한 색공간에 기초하여 조정되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
  19. 제 13항에 있어서,
    상기 영상(1)의 컨텐츠를 식별하는 컨텐츠 식별단계;를 더 포함하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
  20. 제 19항에 있어서,
    상기 물리적 속성 조정단계는 상기 영상(1)의 컨텐츠에 따라 반영되는 상기 감성변인이 특정되는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
  21. 제 19항에 있어서,
    상기 물리적 속성 조정단계는 상기 영상(1)의 컨텐츠에 따라 상기 감성변인에 기특정된 가중치를 부여하는 것을 특징으로 한 사용자의 감성을 반영한 영상화질 향상방법.
KR1020110122495A 2011-11-22 2011-11-22 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법 KR101284570B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110122495A KR101284570B1 (ko) 2011-11-22 2011-11-22 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110122495A KR101284570B1 (ko) 2011-11-22 2011-11-22 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법

Publications (2)

Publication Number Publication Date
KR20130056746A KR20130056746A (ko) 2013-05-30
KR101284570B1 true KR101284570B1 (ko) 2013-07-11

Family

ID=48664695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110122495A KR101284570B1 (ko) 2011-11-22 2011-11-22 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법

Country Status (1)

Country Link
KR (1) KR101284570B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004070657A1 (ja) 2003-02-05 2004-08-19 Seiko Epson Corporation 画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004070657A1 (ja) 2003-02-05 2004-08-19 Seiko Epson Corporation 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:한국감성과학회 *

Also Published As

Publication number Publication date
KR20130056746A (ko) 2013-05-30

Similar Documents

Publication Publication Date Title
JP6831352B2 (ja) イメージ・グレーディングを分析するための装置及び方法
Kuang et al. Evaluating HDR rendering algorithms
CN103119936B (zh) 用于图像的改进的编码的设备和方法
CN111416950A (zh) 视频处理方法、装置、存储介质及电子设备
CN109064433B (zh) 改进的hdr图像编码和解码方法及设备
US8310496B2 (en) Image display device and image display method
Johnson et al. Visual psychophysics and color appearance
Yoshida et al. Analysis of reproducing real‐world appearance on displays of varying dynamic range
US9734797B2 (en) Selectively adjusting display parameter of areas within user interface
CN102783173A (zh) 内容重放装置、电视接收机、内容重放方法、内容重放程序、及存储介质
Smith et al. Beyond tone mapping: Enhanced depiction of tone mapped HDR images
CN107274351A (zh) 图像处理设备、图像处理系统和图像处理方法
CN114359305A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US10825153B2 (en) Image processing apparatus, display apparatus, and image processing method
CN107592517B (zh) 一种肤色处理的方法及装置
CN107239250A (zh) 一种调节屏幕显示方法、装置及其移动终端
US20120301042A1 (en) Image processing apparatus and program
Park et al. Preferred skin color reproduction on the display
KR101284570B1 (ko) 사용자의 감성을 반영한 영상화질 향상장치 및 영상화질 향상방법
Allison et al. Perspectives on the definition of visually lossless quality for mobile and large format displays
CN112529048B (zh) 一种基于感知体验的产品展示视频辅助设计方法和装置
Goudé et al. A perceptually coherent TMO for visualization of 360 HDR images on HMD
Virtanen et al. Underlying elements of image quality assessment: Preference and terminology for communicating image quality characteristics.
JP2021184081A (ja) 表示方法、装置及び記憶媒体
CN108399060B (zh) 一种移动智能终端视频切换方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 5