KR100829581B1 - 영상 처리 방법, 기록매체 및 장치 - Google Patents

영상 처리 방법, 기록매체 및 장치 Download PDF

Info

Publication number
KR100829581B1
KR100829581B1 KR1020060118562A KR20060118562A KR100829581B1 KR 100829581 B1 KR100829581 B1 KR 100829581B1 KR 1020060118562 A KR1020060118562 A KR 1020060118562A KR 20060118562 A KR20060118562 A KR 20060118562A KR 100829581 B1 KR100829581 B1 KR 100829581B1
Authority
KR
South Korea
Prior art keywords
image
depth
region
result
processing
Prior art date
Application number
KR1020060118562A
Other languages
English (en)
Inventor
김준모
문영수
유용석
김윤경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060118562A priority Critical patent/KR100829581B1/ko
Priority to US11/898,205 priority patent/US8290264B2/en
Application granted granted Critical
Publication of KR100829581B1 publication Critical patent/KR100829581B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 처리에 관한 것으로, 본 발명에 따른 영상 처리 방법은 영상을 나타내는 영상 신호를 입력받아 영상의 특성을 검출하고, 검출된 영상의 특성에 기초하여 영상 신호를 해석하고, 해석 결과에 따라 영상 신호의 영역 분할을 수행하고, 영역 분할 결과에 따라 영상 신호를 처리함으로써, 모든 종류의 동영상에 대해서 영역분할을 구분하여 수행하고 차별적으로 영상 처리를 할 수 있다. 다시 말해, 영상 특성에 따라 적절한 영역 분할 기법을 사용하고, 효과적으로 영역 분할을 수행함으로써 차별적 영상 처리를 통해 영상의 입체감을 증강시킬 수 있다.
영상 해석, 영역 분할, 영상 처리, 입체감

Description

영상 처리 방법, 기록매체 및 장치{Image processing method, medium and apparatus}
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템의 개략적인 구성을 도시한 블록도이다.
도 2는 도 1의 영상 처리 시스템에 따른 영역 분할부의 구성을 구체적으로 도시한 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 개략적인 구성을 도시한 블록도이다.
도 4a 및 4b는 본 발명의 또 다른 실시예에 따른 영상 처리 결과를 예시적으로 도시한 도면이다.
도 5a 내지 5c는 본 발명의 또 다른 실시예에 따른 영상 처리 결과를 예시적으로 도시한 도면이다.
도 6a 내지 6c는 본 발명의 또 다른 실시예에 따른 영상 처리 결과를 예시적으로 도시한 도면이다.
도 7은 본 발명의 또 다른 실시예에 따른 영상 처리 시스템의 개략적인 구성을 도시한 블록도이다.
도 8은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 영상 해석부 102: 영역 분할부
104: 영상 처리부 200: 제1 영역 분할부
202: 깊이 추정부 204: 제2 영역 분할부
300: 신뢰도 계산부 700: 제1 영상 처리부
702: 제2 영상 처리부 704: 영상 합성부
본 발명의 영상 처리 방법, 기록매체 및 장치에 관한 것으로, 더 상세하게는 영상의 영역을 분할하여 영역별로 영상을 처리하는 방법, 기록매체 및 장치에 관한 것이다.
디지털 비디오 신호 처리에 관련된 영역 분할(segmentation)은 꾸준히 주요 연구 분야로서 관심의 대상이 되어왔다. 이 분야에 대한 효율적인 분석과 표현은 나날이 새로운 기술이 적용되고 있으며, 오늘날 많은 멀티미디어 적용분야에 있어서 없어서는 안 될 중요한 분야가 되었다.
이러한 비디오 신호의 영역 분할은 다양한 응용분야가 있으며, 이러한 영역 분할 결과를 이용하여 화질 처리, 동영상 부호화, 객체 인식 등에 효과적으로 이용될 수 있다.
한편, 화질 처리 분야 중에서도, 3D 디스플레이, 3D TV는 주로 양안 시차 (binocular disparity)에 의해 입체감을 증가하지만, 이러한 양안 시차가 커지면 눈의 피로감이 커지고 고스트 효과(ghost effect)가 나타나는 등의 문제점이 있다. 양안 시차가 눈의 피로감을 유발하는 주 이유는 양안-적응충돌(vergence-accommodation conflict)이라는 현상이 발생하기 때문이다.
한편, 사람이 입체감을 느끼는 이유는 양안 시차 이외에도, 2D 영상 자체에 포함된 명암 정보와 같은 단안 정보(monocular depth cue) 혹은 그림 정보(pictorial depth cue)를 통해서 두뇌가 3차원 세계를 재현(reconstruct)하기 때문인데, 이러한 단안 정보를 잘 처리하면 입체감을 더 증가시킬 수 있다. 예를 들면, 사람은 밝은 물체를 어두운 물체보다 더 가깝게 느끼는데, 이를 활용해서 가까운 물체를 더 밝게 멀리 있는 물체나 배경을 더 어둡게 처리함으로써 깊이 감과 입체감을 더 증가시킬 수가 있다.
이와 같이 양안 시차를 사용하지 않고, 단안 정보에만 기초한 영상 처리로 2D 영상의 입체감을 증가시키려는 몇몇 시도가 있었다.
"Integration of monocular cues to improve depth perception"라는 명칭의 미국특허 6157733호 및 "Image processing system for handling depth information" 라는 명칭의 미국특허 6252982호는 입력된 영상으로부터 관심 객체를 추출하여 영역별로 차별 처리하는 기술들을 제시하고 있다.
이러한 기술들은 영역 분할이 되었다고 가정할 때 입체감을 증가시키는 기법을 제시하고, 또 다른 대안으로 깊이 추정이 되었다고 가정할 때 입체감을 증가시키는 기술들이다.
그러나 전술한 종래기술들은 다음과 같은 문제점이 있다. 먼저, 2D 비디오는 언제나 영역분할이 가능한 것은 아니다. 예를 들면, 전경(foreground)에 해당하는 영역이 존재하지 않는 경우는 영역 분할이 불가능하다. 또한, 2D 비디오는 언제나 깊이 추정이 가능한 것이 아니다. 예를 들면, 카메라가 움직이고 영상 내에 독립적으로 움직이는 물체가 있을 때는 깊이 추정이 불가능하다는 것이다.
또한, 영역 분할이나 깊이 추정이 정확하지 않은 상태에서 입체감 증강 처리를 수행하는 경우, 입체감 증가의 대가로 부자연스러운 화면이 나타나는 등의 화질 열화가 발생하는 문제점도 있다.
본 발명은 전술한 종래기술의 문제점들을 해결하기 위해 안출된 것으로, 영상의 특성에 따라 영역 분할을 수행하여 이러한 결과에 따라 영상을 효과적으로 처리하여 입체감을 증강시킬 수 있는 영상 처리 방법 및 장치를 제공하는 데 목적이 있다.
또한, 영상의 특성에 따라 깊이 추정을 수행하여 이러한 결과에 따라 영상을 효과적으로 처리하여 입체감을 증강시킬 수 있는 영상 처리 방법 및 장치를 제공하는 데 다른 목적이 있다.
또한, 전술한 영역 분할과 깊이 추정 과정을 수행하고, 수행 결과에 따라 각 각 영상을 처리하고, 이러한 처리 영상들을 합성하여 영상의 입체감을 더욱 증강시키는 데 또 다른 목적이 있다.
또한, 전술한 영역 분할과 깊이 추정 과정에서 전체적인 신뢰도와 국부적인 신뢰도를 추정하고 이를 영상 처리에 활용함으로써, 화질 열화 없는 자연스러운 영상을 생성하도록 하는 데 또 다른 목적 있다.
본 발명의 기술적 과제를 달성하기 위한 영상 처리 방법은 영상을 나타내는 영상 신호를 입력받아 상기 영상의 특성을 검출하고, 상기 검출된 영상의 특성에 기초하여 상기 영상 신호를 해석하는 단계; 상기 해석 결과에 따라 상기 영상 신호의 영역 분할을 수행하는 단계; 및 상기 영역 분할 결과에 따라 상기 영상 신호를 처리하는 단계를 포함한다.
본 발명의 다른 기술적 과제를 달성하기 위한 영상 처리 방법은 영상을 나타내는 영상 신호를 입력받아 상기 영상 신호를 해석하고, 상기 해석된 결과에 따라 상기 영상의 영역 분할 및 깊이 추정을 수행하는 단계; 상기 영역 분할 결과에 따라 상기 영역 분할된 상기 영상의 전경(foreground) 및 배경(background)을 각각 차별 처리하는 단계; 및 상기 깊이 추정된 결과에 따라 상기 영상 신호를 처리하는 단계를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 영상 처리 장치는 영상을 나타내는 영상 신호를 입력받아 상기 영상의 특성을 검출하고, 상기 검출된 영상의 특성에 기초하여 상기 영상 신호를 해석하는 영상 해석부; 상기 영상 해석부의 해 석 결과에 따라 상기 영상 신호의 영역 분할을 수행하는 영역 분할부; 및 상기 영역 분할부의 영역 분할 결과에 따라 상기 영상 신호를 처리하는 영상 처리부를 포함한다.
본 발명의 또 다른 기술적 과제를 달성하기 위한 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
본 발명의 세부 및 개선 사항은 종속항에 개시된다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템의 개략적인 구성을 도시한 블록도이다.
이러한 영상 처리 시스템은 입력 영상을 해석하고, 해석한 결과에 따라서 영상을 전경과 배경부분으로 적절하게 영역분할하고, 영역별 차별 영상 처리를 수행하여 입력 영상의 입체감을 증강시키는데, 도 1을 참조하면, 영상 처리 시스템은 영상 해석부(100), 영역 분할부(102) 및 영상 처리부(104)를 포함한다.
먼저, 비디오 카메라, 디지털 카메라, 카메라 폰 등의 동영상 촬영 수단 등을 포함하는 영상 신호 입력 장치(도시되지 않음)로부터 촬영한 영상, 예를 들면, TV 방송 영상, 개인 컨텐츠 영상, 저장 미디어 재생 영상 등을 입력한다. 여기서 영상은 아날로그 영상 또는 디지털 영상을 모두 포함하지만, 디지털 영상 신호로 변환되어 입력되는 것을 전제로 한다. 이렇게 디지털 신호로 변환된 영상 신호들(sequences)이 순차적으로 입력된다. 바람직하게 입력 영상은 2D 영상 신호를 포함한다.
영상 해석부(100)는 영상 신호 입력 장치로부터 입력된 영상 신호의 특성, 즉 영상의 움직임, 영상을 촬영한 카메라의 움직임 여부, 또는 영상 내의 독립적으로 움직이는 전경 객체가 있는지에 대한 정보를 기초로 각각의 영상 신호를 해석하여 영상 해석 신호를 영역 분할부(102)에 제공한다. 또한, 선택적으로 영상 해석 부(100)는 영역 분할부(102)를 포함하여 구성될 수 있다.
영역 분할부(102)는 영상 해석부(100)로부터 영상 해석 신호를 입력받아, 이에 따라 영상 신호를 전경과 배경 영역으로 분할한다. 본 발명의 바람직한 실시예에서, 영상 해석 신호는 모드 [1] 내지 모드 [6]을 나타내는 신호이다. 영역 분할 부(102)는 이러한 모드 [1] 내지 모드 [6]에 따라서 각각 적절한 영역 분할 알고리즘을 수행하여 영상을 전경(foreground)과 배경(background)으로 분할할 수 있는 모듈이다.
전술한 영상 해석 신호를 나타내는 영상 모드를 분류하는 기준은 카메라 움직임 여부와 독립적으로 움직이는 전경(foreground) 내의 객체의 유무에 따라 입력 영상 신호를 다음의 6가지 모드로 분류한다. 모드 [1]은 정지 카메라 및 전경 객체 없음, 모드 [2]는 정지 카메라, 전경 객체가 존재하지만 정지 상태, 모드 [3]은 정지 카메라, 독립적으로 움직이는 전경 객체, 모드 [4]는 움직이는 카메라, 전경 객체 없음, 모드 [5]는 움직이는 카메라, 전경 객체가 존재하지만 정지, 모드 [6]은 움직이는 카메라, 독립적으로 움직이는 전경 객체가 있는 경우이다.
이상 본 발명의 바람직한 실시예들을 설명하기 위해 6개의 영상 모드로 분류 하였지만, 이러한 분류는 예시적일 뿐 본 발명의 범위가 여기에 한정되지 않는다.
전술한 바와 같이, 입력 영상 신호의 특성에 따라 영상 해석을 수행하고, 영상 모드를 구분하여 영역분할을 수행하는 이유는 각각의 모드마다 적절한 영역 분할 알고리즘이 존재하기 때문이다. 예를 들면, 모드 [1] 및 모드 [4]는 전경 객체가 존재하지 않기 때문에, 전경과 배경 영역으로의 분할이 불필요하다. 또한, 모드 [2]의 경우는 정지 카메라이고, 전경 객체는 존재하지만 정지하고 있기 때문에 영상 전체가 정지하고 있다. 따라서, 정지 영상 객체 분할기법을 사용하면 효과적이다. 모드 [3]의 경우는 정지 카메라이지만 독립적으로 움직이는 전경 객체가 존재하는 경우이므로, 모드 [2]처럼, 정지 영상 분할기법을 적용할 수 없다. 하지만, 정지카메라로 촬영한 영상이므로 배경화면은 정지하고 있는 경우이고, 전경 객체만이 움직이므로 배경 감산 기법(background subtraction)을 사용하여 효과적으로 전경과 배경의 영역분할이 가능하다. 모드 [4]의 경우 움직이는 카메라이지만, 전경 객체가 없으므로 영역 분할이 불필요하고, 모드 [5]의 경우는 움직이는 카메라이고, 전경 객체가 존재하지만 배경부와 마찬가지로 정지되어 있다. 따라서, 카메라의 움직임으로부터 3차원 구조를 추출하는 기법(structure from motion)을 사용한 깊이(depth)추정이 가능하다. 이러한 깊이정보를 사용하면 영역분할이 가능하다. 모드 [6]의 경우는 움직이는 카메라이지만, 독립적으로 움직이는 전경 객체가 존재하기 때문에, 모드 [5]의 경우처럼 깊이 추정이 불가능하다. 따라서, 3D 모션에 의한 영역분할 기법이 적절하다.
영상 처리부(104)는 영역 분할부(102)로부터 영역 분할 정보, 즉 영상의 전 경 부분 및 배경 부분에 대한 정보를 입력받아, 이러한 정보에 따라 영역별 영상 처리를 수행한다.
본 발명의 바람직한 실시예에서, 영상 처리부(104)는 다음과 같은 영상처리를 수행한다. 바람직하게, 영상 처리는 밝기(Brightness)처리, 포커스(Focus)처리, 안개(Fog)처리, 선명(Sharpeness)처리, 콘트라스트(Contrast)처리, 에지(Edge) 증강 처리 및 색 입체영상(Chromosteropsis)처리 등을 포함한다.
밝기 처리는 전경 부분을 밝게 처리하고 배경 부분을 어둡게 처리하고, 포커스 처리는 전경 부분은 선명하게 유지하고 배경 부분은 흐릿(blur)하게 처리한다. 안개 처리는 전경 부분은 유지하고 배경 부분에 안개를 섞는다. 선명 처리는 전경 부분을 더 선명하게 한다. 콘트라스트 처리는 전경 부분의 콘트라스트를 증가시킨다. 에지 증강 처리는 전경 영역의 경계(edge)를 더 또렷하게 한다. 색 입체 영상 처리는 배경 부분에 푸른 색의 안개(fog)를 섞는다.
또한, 선택적으로 이러한 처리들을 각각 사용할 수도 있고, 특정 처리 기법을 함께 사용할 수도 있다. 더 바람직하게, 에지 증강 처리와 포커스 처리를 함께 사용하면 영상의 입체감을 더욱 향상시킬 수 있다.
도 2는 도 1의 영상 처리 시스템에 따른 영역 분할부의 구성을 구체적으로 도시한 블록도이다.
도 2를 참조하면, 영역 분할부는 제1 영역 분할부(200), 깊이 추정부(202) 및 제2 영역 분할부(204)를 포함한다.
입력 영상은 크게 깊이 추정이 가능한 경우, 즉 카메라가 움직이고 독립적으 로 움직이는 물체가 없는 경우(모드 [4] 및 [5])와 그렇지 않은 경우(모드 [1], [2], [3] 및 [6])로 나누어지고, 깊이 추정이 가능한 경우에는 깊이를 추정한 후, 깊이에 따른 영역분할이 가능한 경우, 즉 모드 [5]에 대해서 깊이를 사용한 영역분할을 수행한다.
제1 영역 분할부(200)는 깊이 추정이 불가능한 경우의 영역분할만을 수행한다. 즉, 깊이 추정이 불가능한 경우 중에서 전경 객체가 존재하지 않는 모드 [1]을 제외하고 영역 분할을 수행한다.
깊이 추정부(202)는 영상의 깊이 추정 및 깊이 분포 분석을 수행한다. 여기서 영상 내의 픽셀들의 깊이(depth), 즉 각 픽셀과 카메라 간의 거리를 의미하며 이러한 정보들은 영역분할에 중요한 정보를 제공한다. 특히 전경에 있는 픽셀들은 카메라로부터 가깝고, 배경에 있는 픽셀들은 카메라로부터 멀기 때문에 이러한 정보들에 기반하여 영역분할을 수행할 수 있다.
본 발명의 바람직한 실시예에서, 깊이 추정부(202)는 카메라의 움직임으로부터 3차원 구조를 추출하는 (structure from motion)기법을 사용하여 깊이를 추정한다. 이렇게 추정된 깊이 분포가 여러 개의 피크를 갖는 경우(multi-modal)는 모드[5]로, 단일 피크를 갖는 경우(uni-modal)는 모드[4]로 분류한다. 데이터 분포가 유일한지 아닌지 판단하기 위해서, 예를 들면 DIP 테스트나 커널 밀도 측정(kernel density estimate)을 사용할 수 있다.
제2 영역 분할부(204)는 모드[4]로 판정된 경우, 전경 객체가 존재하지 않으므로, 영역 분할의 필요가 없고, 모드[5]로 판정된 경우 깊이 분포를 사용하여 깊 이가 경계치보다 적은 영역을 전경으로, 깊이가 경계치보다 큰 영역을 배경으로 분할한다.
요약하면, 제1 영역 분할부(200)에서 모드 [2], [3] 및 [6]에 대한 영역 분할이 수행되고, 제2 영역 분할부(204)에서 모드 [5]에 대해서 영역 분할이 수행되어 영상 처리부(104)에서 전술한 전경/배경 영역별 차별 영상처리를 수행한다.
도 3은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 개략적인 구성을 도시한 블록도이다.
도 3을 참조하면, 도 1의 영상 처리 시스템의 구성에서 신뢰도 계산부(300)이 추가되었다. 즉, 본 발명의 또 다른 실시예는 도시된 바와 같이, 영역 분할 과정에서 영역 분할의 신뢰도를 추정하고 신뢰도를 사용한 영상 처리를 수행하는 것이다.
여기서 신뢰도는 전경과 배경 영역 분할 결과의 정확도의 정도를 의미하는 것으로, 본 발명의 바람직한 실시예에서, 전경 부분의 영상 특성과 배경 부분의 영상 특성을 분석하고, 각각의 픽셀들의 특성이 전경 영역 특성에 가까운지 배경 영역 특성에 가까운지 재검증하는 것이다.
더 구체적으로, 임의의 픽셀 x에 대해서 픽셀 x의 특성이 전경 영역 특성에 가까울 확률 p_FG(x)와 픽셀 x의 특성이 배경 영역 특성이 가까울 확률 p_BG(x)를 계산하고, 그 비율을 측정한다. 예를 들면, 전경으로 판정된 픽셀 x에 대해서는 p_FG(x)가 p_BG(x)보다 클수록 그 신뢰도가 높다고 할 수 있다. 특히, 로그-우도(log-likelyhood ratio), 즉 log(p_FG(x)/p_BG(x))가 -∞에서 ∞까지의 값을 취 하고, 로그 우도의 단조 함수(monotonic function)을 사용해서 신뢰도를 표현할 수 있다.
특히, 다음 수학식 1에 log (p_FG(x) / p_BG(x))을 대입하여 다음 수학식 2　를 신뢰도로 사용하면 그 값이 0과 1 사이에 존재하게 된다.
Figure 112006088098160-pat00001
Figure 112006088098160-pat00002
마찬가지로, 배경으로 판정된 픽셀 x에 대해서는 다음 수학식 3을 사용할 수 있다. 또한, 선택적으로 log(p_BG(x)/p_FG(x))의 다른 단조 함수를 신뢰도로 사용할 수도 있다.
Figure 112006088098160-pat00003
　
여기서, p_FG(x)의 한 예로 컬러 히스토그램(color histogram)이나 컬러 분 포의 추정치(예, kernel density estimation)를 사용할 수 있다. 이 경우는 전경으로 분류된 영역에 포함된 픽셀들의 컬러 분포에 비추어 보아 픽셀 x의 컬러가 전경의 컬러라고 할 수 있는 정도를 p_FG(x)가 모델링하게 된다.
또한, 선택적으로 컬러 이외에 영상 경사도(image gradient), 또는 2D 움직임 벡터(motion vector)를 사용해서 p_FG(x)를 추정할 수도 있다.
다시 도 3을 참조하면, 영상 처리부(104)는 신뢰도 계산부(104)로부터 영역 분할의 신뢰도 정보를 제공받아 신뢰도에 기반한 영상 처리를 수행한다.
밝기(Brightness)처리, 포커스(Focus)처리, 안개(Fog)처리, 선명(Sharpeness)처리, 콘트라스트(Contrast)처리, 에지(Edge) 증강 처리 및 색 입체영상(Chromosteropsis)처리 등 많은 영상 처리 방법 중에서 밝기 처리를 바람직한 실시예로 설명한다.
신뢰도를 사용하지 않고 밝기 처리를 할 때에는, 전경에 있는 픽셀은 밝게 배경에 있는 픽셀은 어둡게 처리를 한다. 이때 색조(hue)와 채도(saturation)를 보존시키면서 밝기만 밝게 하는 것은 다음 수학식 4로 나타낼 수 있다.
Figure 112006088098160-pat00004
예를 들면 α가 0.3이면 밝기를 30% 증가시키는 것에 해당한다. 마찬가지로 배경에 있는 픽셀을 어둡게 처리하는 것은 다음 수학식 5로 나타낼 수 있다.
Figure 112006088098160-pat00005
위의 두 수학식 4 및 5를 전경/배경 영역 분할 결과를 나타내는 바이너리 맵(binary map)을 사용해서 나타내면, 전경/배경 영역을 나타내는 바이너리 맵이 전경으로 판정된 픽셀 x에 대해서는 1, 배경으로 판정된 픽셀 x에 대해서는 -1을 취한다고 하면, 밝기 처리는 다음 수학식 6과 같이 나타낼 수 있다.
Figure 112006088098160-pat00006
여기서, β(x)는 바이너리 맵이다.
만약, 전경/배경 영역 분할 결과인 바이너리 맵, β(x)가 정확하게 구해진다면, 밝기 처리 영상은 원래 영상인 도 4a보다, 도 4b에 도시된 바와 같이, 원 영상보다 더 입체감이 증강되어 보일 것이다.
하지만, 도 5b에 도시된 바와 같이, 전경/배경 바이너리 맵이 전경 부분과 배경 부분을 정확하게 분할하지 못한다면, 도 5c에 도시된 바와 같이, 매우 부자연스러운 영상을 얻게 된다.
본 발명의 바람직한 실시예에서, 전경/배경 영역 분할 결과 전체에 대한 신뢰도(global confidence)를 Cg, 각 픽셀별 영역 분할 바이너리 맵, β(x)에 대한 국부적 신뢰도 맵(local confidence map)을 Cl이라고 정의한다. 여기서 전체 신뢰도, 즉 Cg는 0과 1 사이의 값을 가지며, 전경/배경 바이너리 맵, β(x)가 정확할 확률의 의미이다고, 또한 픽셀 x에서의 국부적 신뢰도, Cl은 픽셀 x에서의 전경/배경 바이너리 맵 β(x)가 정확할 확률의 의미이다.
전체 신뢰도를 사용한 밝기 처리는 다음 수학식 7로 표현할 수 있다.
Figure 112006088098160-pat00007
즉, 전체 신뢰도가 높으면 충분히 밝기 처리를 하지만, 신뢰도가 낮으면 밝기 처리를 약하게 수행한다.
마찬가지로, 국부적 신뢰도를 사용한 밝기 처리는 다음 수학식 8로 표현할 수 있다.
Figure 112006088098160-pat00008
여기서, 도 5b 및 6b에 도시된 것처럼, 전경/배경 맵은 영역 분할 경계에서 불연속적으로 변하지만, 국부적 신뢰도 맵은 영역 분할 경계에서 연속적으로 부드럽게 변한다. 도 5c의 결과를 초래한 영역 분할 맵을 그대로 쓰더라도 부드럽게 변하는 국부적 신뢰도 맵을 사용하여 영상 처리를 한 결과가 도 6c에 도시되어 있다. 여기서, 도 6b는 Cl(x)β(x)의 예시적 도면이다.
또한, 선택적으로 다음 수학식 9와 같이, 전체 신뢰도 Cg 와 국부적 신뢰도 맵을 함께 사용할 수도 있다.
Figure 112006088098160-pat00009
도 7은 본 발명의 또 다른 실시예에 따른 영상 처리 시스템의 개략적인 구성을 도시한 블록도이다.
도 7을 참조하면, 도 2의 영상 처리 시스템의 구성에, 제1 영상 처리부(700) , 제2 영상 처리부(702) 및 영상 합성부(704)를 포함하는 영상 처리부(104)가 추가된다.
이러한 영상 처리 시스템은 영역별 차별 영상처리와 깊이에 따른 영상처리를 병행 사용하여 입체감을 증강하는데, 특히 영상 자체를 해석하여 영역 분할이 가능한 경우와 깊이 추정이 가능한 경우를 판단하여, 영역 분할과 깊이 추정을 수행한다.
제1 영상 처리부(700)는 제1 영역 분할부(200)로부터 영역 분할 정보, 예를 들면 모드 [2], [3] 및 [6]에 대한 전경/배경 정보를 제공받고, 제2 영역 분할부(204)로부터 영역 분할 정보, 예를 들면 모드 [5]에 전경/배경 정보를 제공받아, 영역별 차별 영상 처리를 수행한다.
제2 영상 처리부(702)는 깊이 추정이 가능한 모드 [4] 및 [5]에 대한 영상 정보를 입력받아 영상의 깊이 정보에 기반하여 영상 처리를 수행하며, 깊이에 따른 영상 처리의 한 실시예로, 다음 수학식 10과 같이 깊이에 비례하게 밝기를 증감시키는 방법을 사용할 수 있다.
Figure 112006088098160-pat00010
여기서 밝기의 변화분인 (az+b)는 깊이 z의 일차함수로 주어진다. a를 음수, b를 양수로 적절하게 설정하면 카메라로부터 가까운 곳에 위치한 물체에 해당하는 부분은 더 밝게 처리하고, 카메라로부터 멀어질수록 더 어둡게 처리하게 된다.
또한, 카메라로부터 멀어질수록 안개의 농도를 높여서 뿌옇게 처리할 수도 있다. 이러한 안개 처리는 다음 수학식 11 및 12와 같이 원 색상과 동일한 밝기를 갖는 회색 안개를 원 색상과 섞는 것이다.
Figure 112006088098160-pat00011
Figure 112006088098160-pat00012
여기에서 df는 안개의 농도이고, 거리 z가 증가할수록 처리 색상은 회색에 가깝게 된다. 여기서 회색 안개 대신 푸른색 안개를 쓰게 되면 색 입체영상 처리효과, 예를 들면 파란색이 빨간색보다 멀게 보이는 효과에 의해 깊이 z가 증가할수 록 해당 픽셀이 더 깊어 보이게 할 수 있다.
또한, 선택적으로 도 3을 참조하여 설명한 신뢰도 기반의 영상 처리가 깊이 추정에 대해서도 사용될 수 있다. 즉, 신뢰도의 크기에 비례해서 영상 처리의 강도를 조절하는 방법으로 깊이 추정 에러로 인한 화질 열화를 방지 및 감소할 수 있다.
영상 합성부(704)는 제1 영상 처리부(700)로부터 영역별 차별 처리된 영상 신호를 입력받고, 제2 영상 처리부(702)로부터 영상의 깊이 정보에 기반한 영상 처리된 신호를 입력받아, 영역별 차별 처리 영상과 깊이에 따른 처리 영상을 합성하여 입체감이 향상된 영상을 출력한다.
요약하면, 입력 영상을 해석하여 깊이 추정과 영역분할의 가능성을 판단하여, 그 중 가능한 작업을 수행하고, 영역 분할과 깊이 추정이 모두 가능한 경우는 둘 다 수행한다. 그리고 영역 분할 및/또는 깊이추정 결과를 활용하여 영상의 입체감을 증강처리하는 것이다.
이러한 영역별 차별 처리와 깊이에 따른 영상처리를 병행하는 효과는 영상에서 전경이라고 할 만한 대상이 없지만, 그러므로 영역 분할이 불가능하여 영역별 차별처리가 불가능하지만, 카메라의 움직임이 있는 장면에 대해서도 깊이에 따른 영상 처리를 통해 입체감 증강 처리를 할 수 있다는 것이다. 또한, 영역 분할과 깊이 추정이 둘 다 가능한 경우에는 깊이 추정에 의한 입체감 증강 처리를 병행 또는 추가함으로써 더욱더 입체감이 뛰어난 영상을 얻을 수 있다는 것이다. 　
도 8은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
영상 처리 시스템은, 영상이 입력되면 단계 800에서, 영상의 깊이 추정이 가능한지 판단한다. 깊이 추정이 가능하다면 단계 802에서 영상의 깊이를 추정하고, 단계 810으로 진행하여 깊이에 따른 영상 처리를 수행함과 동시에, 단계 804에서 깊이 기반의 영역 분할을 수행할 수 있는 경우에 영역 분할을 수행한다. 또한, 영상의 깊이 추정이 불가능한 경우에는 단계 806으로 진행하여 영역분할을 수행한다. 단계 808에서는 영역 분할된 영상들을 영역별 차별 처리한다. 단계 812에서는 영역별 차별 처리된 영상과 깊이에 따라 처리된 영상을 합성하여 합성된 영상을 출력한다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
영상 처리 시스템은, 영상이 입력되면 단계 900에서, 카메라의 움직임이 있는지 판단하고, 카메라의 움직임이 있는 경우, 단계 902에서, 카메라의 움직임과 독립적으로 움직이는 물체가 있는지 판단한다. 독립적으로 움직이는 물체가 없는 경우 단계 904로 진행하여, 영상의 깊이를 추정하고, 단계 914로 진행하여, 깊이에 따른 영상 처리를 수행한다. 한편, 깊이에 기반한 영역분할이 가능한 경우, 단계 906에서, 깊이 기반의 영역 분할을 수행한다. 한편, 카메라의 움직임이 없는 경우, 단계 908로 진행하여 영역 분할을 수행하고, 독립적으로 움직이는 물체가 있는 경우 단계 910으로 진행하여 영역 분할을 수행한다. 전술한 단계 906, 908 및 910에서 수행된 영역 분할 결과에 따라 단계 912에서 영역별 차별 영상 처리를 수행하 고, 단계 916에서, 영역별 차별 영상 처리된 결과와 깊이에 따른 영상 처리 결과를 합성하여 영상을 출력한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상 본 발명의 바람직한 실시예들을 기초로 설명되었지만, 당업자들은 본 발명이 속하는 기술분야의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 한정되며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 따라 영상의 특성을 검출하고, 검출된 영상의 특성에 기초하여 영상 신호를 해석하고, 해석 결과에 따라 영상 신호의 영역 분할을 수행하고, 영역 분할 결과에 따라 영상 신호를 처리함으로써, 영상 특성에 따라 적절한 영역 분할 기법을 사용하고, 효과적으로 영역 분할을 수행함으로써 차별적 영상 처리를 통해 영상의 입체감을 증강시킬 수 있는 효과가 있다.
또한, 영상의 특성을 판별하여 영역 분할이 적절한 경우와 깊이 추정이 적절한 경우를 판단함으로써 대부분의 종류의 영상에 대해 적절한 입체감 증강 처리를 수행할 수 있다.
또한, 영역 분할이나 깊이 추정의 전체적인 신뢰도와 국부적인 신뢰도를 추정하여 이를 고려한 영상 처리를 수행함으로써 화질 열화를 방지하고 자연스러운 영상을 얻을 수 있다.
또한, 양안 시차에 의존하는 3D 디스플레이, 3D TV에도 양안 시차를 조금 더 약하게 사용하면서도 동일한 입체감을 주는 영상을 생성할 수 있어서, 시청자의 눈의 피로를 줄일 수 있는 효과가 있다.

Claims (23)

  1. (a) 영상을 나타내는 영상 신호를 입력받아 상기 영상의 특성을 검출하고, 상기 검출된 영상의 특성에 기초하여 상기 영상 신호를 해석하는 단계;
    (b) 상기 해석 결과에 따라 상기 영상 신호의 영역 분할을 수행하는 단계; 및
    (c) 상기 영역 분할 결과에 따라 상기 영상 신호를 처리하는 단계를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 영역 분할된 상기 영상의 전경(foreground) 및 배경(background)을 각각 차별 처리하는 것을 특징으로 하는 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 영상의 특성은,
    상기 영상을 촬영한 카메라의 움직임 및 상기 영상에서 독립적으로 움직이는 전경 객체 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 (a) 단계 다음에,
    상기 해석 결과에 따라 상기 영상 신호의 깊이를 추정하는 단계를 더 포함하고,
    상기 (b) 단계는,
    상기 추정된 깊이에 따라 상기 영상 신호의 영역 분할을 수행하는 것을 특징으로 하는 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 영역 분할의 신뢰도를 추정하는 단계를 더 포함하고,
    상기 (c) 단계는,
    상기 영역 분할 결과 및 상기 추정된 신뢰도 값에 따라 영상 처리하는 것을 특징으로 하는 영상 처리 방법.
  6. 제 5 항에 있어서,
    상기 신뢰도는,
    상기 영역 분할 결과에 대한 신뢰도 값인 것을 특징으로 영상 처리 방법.
  7. 제 5 항에 있어서,
    상기 신뢰도는,
    상기 영상 신호를 구성하는 각각의 픽셀들의 영역 분할 결과에 대한 신뢰도 값인 것을 특징으로 하는 영상 처리 방법.
  8. 제 1 항에 있어서,
    상기 영상 처리는,
    밝기 처리, 포커스 처리, 안개 처리, 선명 처리, 콘트라스트 처리, 에지 증강 처리 및 색 입체영상 처리 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 (b) 단계는,
    상기 해석 결과에 따라 상기 영상의 깊이를 추정하는 단계를 더 포함하고,
    상기 추정된 영상의 깊이에 따라 깊이 기반의 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 영역 분할된 결과에 따라 처리된 영상 신호와 상기 영상의 깊이에 따라 처리된 영상 신호를 합성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  11. (a) 영상을 나타내는 영상 신호를 입력받아 상기 영상 신호를 해석하고, 상 기 해석된 결과에 따라 상기 영상의 영역 분할 및 깊이 추정을 수행하는 단계;
    (b) 상기 영역 분할 결과에 따라 상기 영역 분할된 상기 영상의 전경(foreground) 및 배경(background)을 각각 차별 처리하는 단계; 및
    (c) 상기 깊이 추정된 결과에 따라 상기 영상 신호를 처리하는 단계를 포함하는 영상 처리 방법.
  12. 제 11 항에 있어서,
    상기 (b) 단계의 영상 처리 결과와 상기 (c) 단계의 영상 처리 결과를 합성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제 11 항에 있어서,
    상기 (a) 단계 이전에,
    (a0) 상기 영상의 깊이 추정이 가능한지 판단하는 단계를 더 포함하고,
    상기 (a) 단계는,
    상기 깊이 추정된 결과를 이용하여 영역 분할을 수행하는 것을 특징으로 하는 영상 처리 방법.
  14. 제 13 항에 있어서,
    상기 (a0) 단계는,
    상기 영상을 촬영한 카메라의 움직임 여부 및 상기 영상 내에서 독립적으로 움직이는 물체가 있는지 여부로 판단하는 것을 특징으로 하는 영상 처리 방법.
  15. 제 11 항에 있어서,
    상기 (c) 단계는 상기 (b) 단계와 동시에 수행되는 것을 특징으로 하는 영상 처리 방법.
  16. 제 11 항에 있어서,
    상기 (a) 단계 다음에,
    상기 영역 분할된 결과에 대한 신뢰도를 추정하는 단계를 더 포함하고,
    상기 (b) 단계는,
    상기 영역 분할 결과 및 상기 추정된 신뢰도 값에 따라 상기 영역 분할된 상기 영상의 전경(foreground) 및 배경(background)을 각각 차별 처리하는 것을 특징으로 하는 영상 처리 방법.
  17. 제 11 항에 있어서,
    상기 (a) 단계 다음에,
    상기 깊이 추정된 결과에 대한 신뢰도를 추정하는 단계를 더 포함하고,
    상기 (c) 단계는,
    상기 깊이 추정된 결과 및 상기 추정된 신뢰도 값에 따라 상기 영상 신호를 처리하는 것을 특징으로 하는 영상 처리 방법.
  18. 제 1 항 내지 제 17 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  19. 영상을 나타내는 영상 신호를 입력받아 상기 영상의 특성을 검출하고, 상기 검출된 영상의 특성에 기초하여 상기 영상 신호를 해석하는 영상 해석부;
    상기 영상 해석부의 해석 결과에 따라 상기 영상 신호의 영역 분할을 수행하는 영역 분할부; 및
    상기 영역 분할부의 영역 분할 결과에 따라 상기 영상 신호를 처리하는 영상 처리부를 포함하는 영상 처리 장치.
  20. 제 19 항에 있어서,
    상기 영역 분할부는,
    상기 영상 해석부로부터 입력받은 제1 영상 해석 신호에 따라 상기 영상 신호의 영역 분할을 수행하는 제1 영역 분할부;
    상기 영상 해석부로부터 입력받은 제2 영상 해석 신호에 따라 상기 영상의 깊이를 추정하는 깊이 추정부; 및
    상기 깊이 추정부로부터 상기 영상의 깊이 정보를 입력받아, 상기 깊이 정보에 따라 상기 영상 신호의 영역 분할을 수행하는 제2 영역 분할부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  21. 제 19 항에 있어서,
    상기 영역 분할부로부터 상기 영상 신호의 영역 분할 정보를 입력받아, 상기 영역 분할 정보에 따라 상기 영역 분할의 신뢰도를 추정하는 신뢰도 추정부를 더 포함하고,
    상기 영상 처리부는,
    상기 영역 분할 결과 및 상기 신뢰도 값에 따라 상기 영상 신호를 처리하는 것을 특징으로 하는 영상 처리 장치.
  22. 제 20 항에 있어서,
    상기 영상 처리부는,
    상기 제1 영역 분할부 및 상기 제2 영역 분할부로부터 상기 영상 신호의 영역 분할 정보를 입력받아, 상기 영역 분할 정보에 따라 상기 영상 신호를 처리하는 제1 영상 처리부;
    상기 깊이 추정부로부터 상기 깊이 정보를 입력받아, 상기 깊이 정보에 따라 상기 영상 신호를 처리하는 제2 영상 처리부; 및
    상기 제1 영상 처리부 및 상기 제2 영상 처리부로부터 영상 처리 결과를 합성하여 출력하는 영상 합성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  23. 제 19 항에 있어서,
    상기 영상 신호는 2D 영상 신호인 것을 특징으로 하는 영상 처리 장치.
KR1020060118562A 2006-11-28 2006-11-28 영상 처리 방법, 기록매체 및 장치 KR100829581B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060118562A KR100829581B1 (ko) 2006-11-28 2006-11-28 영상 처리 방법, 기록매체 및 장치
US11/898,205 US8290264B2 (en) 2006-11-28 2007-09-10 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060118562A KR100829581B1 (ko) 2006-11-28 2006-11-28 영상 처리 방법, 기록매체 및 장치

Publications (1)

Publication Number Publication Date
KR100829581B1 true KR100829581B1 (ko) 2008-05-14

Family

ID=39463773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060118562A KR100829581B1 (ko) 2006-11-28 2006-11-28 영상 처리 방법, 기록매체 및 장치

Country Status (2)

Country Link
US (1) US8290264B2 (ko)
KR (1) KR100829581B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101145839B1 (ko) 2012-01-09 2012-05-17 (주)나인정보시스템 고정 카메라의 전경 영상과 회전 카메라의 확대 영상을 이용한 사람과 차량의 구분 방법
KR101238249B1 (ko) * 2011-06-13 2013-02-27 삼성테크윈 주식회사 영상 대조비 개선 방법 및 장치
WO2013165210A1 (ko) * 2012-05-03 2013-11-07 에스케이텔레콤 주식회사 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
WO2013172580A1 (ko) * 2012-05-15 2013-11-21 에스케이텔레콤 주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR101901184B1 (ko) * 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
WO2021040075A1 (ko) * 2019-08-27 2021-03-04 엘지전자 주식회사 영상표시장치 및 이의 영상처리방법
US11107198B2 (en) 2018-08-08 2021-08-31 Samsung Electronics Co., Ltd. Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
US8290294B2 (en) * 2008-09-16 2012-10-16 Microsoft Corporation Dehazing an image using a three-dimensional reference model
US20110205227A1 (en) * 2008-10-31 2011-08-25 Mani Fischer Method Of Using A Storage Switch
JP5540942B2 (ja) * 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 処理装置
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
US8724919B2 (en) * 2012-09-21 2014-05-13 Eastman Kodak Company Adjusting the sharpness of a digital image
DE112013004760B4 (de) * 2012-09-27 2017-10-19 Fujifilm Corporation Bilderfassungsvorrichtung und Bildverarbeitungsverfahren
US9191643B2 (en) 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
WO2014184417A1 (en) * 2013-05-13 2014-11-20 Nokia Corporation Method, apparatus and computer program product to represent motion in composite images
KR102084253B1 (ko) * 2013-11-20 2020-03-03 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
JP6800650B2 (ja) * 2015-10-30 2020-12-16 キヤノン株式会社 信頼度生成装置、信頼度生成方法、および撮像装置
US10659766B2 (en) * 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus
US10621729B2 (en) * 2016-06-12 2020-04-14 Apple Inc. Adaptive focus sweep techniques for foreground/background separation
CN107545544A (zh) * 2016-06-29 2018-01-05 诺基亚技术有限公司 去除图像中的混浊对象的方法和装置
KR102522565B1 (ko) 2016-08-31 2023-04-17 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US20180293735A1 (en) * 2017-04-11 2018-10-11 Sony Corporation Optical flow and sensor input based background subtraction in video content
CN108257161B (zh) * 2018-01-16 2021-09-10 重庆邮电大学 基于多相机的车辆环境三维重构和运动估计系统及方法
WO2020091096A1 (en) * 2018-10-30 2020-05-07 Samsung Electronics Co., Ltd. Methods for determining a planes, methods for displaying augmented reality display information and corresponding devices
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020058012A (ko) * 2000-09-15 2002-07-12 요트.게.아. 롤페즈 2차 스테이션 및 이 스테이션의 운용 방법
KR20030019214A (ko) * 2001-08-31 2003-03-06 가부시끼가이샤 도시바 반도체 제조 장치용 회전기의 수명 예측방법 및 반도체제조 장치
KR20050030725A (ko) * 2003-09-26 2005-03-31 김만배 객체기반 동영상 데이터의 입체영상변환장치 및 방법
KR20060026157A (ko) * 2004-09-20 2006-03-23 주식회사 대우일렉트로닉스 디스플레이 장치와 입력 장치를 구비하는 조향 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
KR100345591B1 (ko) 1994-08-08 2002-11-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이정보처리를위한영상처리시스템
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US6157733A (en) 1997-04-18 2000-12-05 At&T Corp. Integration of monocular cues to improve depth perception
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020058012A (ko) * 2000-09-15 2002-07-12 요트.게.아. 롤페즈 2차 스테이션 및 이 스테이션의 운용 방법
KR20030019214A (ko) * 2001-08-31 2003-03-06 가부시끼가이샤 도시바 반도체 제조 장치용 회전기의 수명 예측방법 및 반도체제조 장치
KR20050030725A (ko) * 2003-09-26 2005-03-31 김만배 객체기반 동영상 데이터의 입체영상변환장치 및 방법
KR20060026157A (ko) * 2004-09-20 2006-03-23 주식회사 대우일렉트로닉스 디스플레이 장치와 입력 장치를 구비하는 조향 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101238249B1 (ko) * 2011-06-13 2013-02-27 삼성테크윈 주식회사 영상 대조비 개선 방법 및 장치
KR101145839B1 (ko) 2012-01-09 2012-05-17 (주)나인정보시스템 고정 카메라의 전경 영상과 회전 카메라의 확대 영상을 이용한 사람과 차량의 구분 방법
WO2013165210A1 (ko) * 2012-05-03 2013-11-07 에스케이텔레콤 주식회사 정지영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
US9336577B2 (en) 2012-05-03 2016-05-10 Sk Telecom Co., Ltd. Image processing apparatus for removing haze contained in still image and method thereof
WO2013172580A1 (ko) * 2012-05-15 2013-11-21 에스케이텔레콤 주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR20130127654A (ko) * 2012-05-15 2013-11-25 에스케이텔레콤 주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR101582479B1 (ko) 2012-05-15 2016-01-19 에스케이 텔레콤주식회사 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
US9275443B2 (en) 2012-05-15 2016-03-01 Sk Telecom Co., Ltd. Image-processing apparatus for removing haze contained in video, and method therefof
KR101901184B1 (ko) * 2012-09-20 2018-09-21 삼성전자주식회사 깊이 영상을 사용한 컬러 영상 처리 장치 및 방법
US11107198B2 (en) 2018-08-08 2021-08-31 Samsung Electronics Co., Ltd. Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
WO2021040075A1 (ko) * 2019-08-27 2021-03-04 엘지전자 주식회사 영상표시장치 및 이의 영상처리방법

Also Published As

Publication number Publication date
US8290264B2 (en) 2012-10-16
US20080123960A1 (en) 2008-05-29

Similar Documents

Publication Publication Date Title
KR100829581B1 (ko) 영상 처리 방법, 기록매체 및 장치
Wang et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging
Ju et al. IDE: Image dehazing and exposure using an enhanced atmospheric scattering model
Xie et al. A variational framework for underwater image dehazing and deblurring
Liang et al. Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing
KR100846498B1 (ko) 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
Zhu et al. A fast single image haze removal algorithm using color attenuation prior
Yu et al. Fast single image fog removal using edge-preserving smoothing
KR100846513B1 (ko) 영상 처리 방법 및 장치
CN108604293B (zh) 提高图像质量的装置和方法
KR100873638B1 (ko) 영상 처리 방법 및 장치
US7050646B2 (en) Image processing system and method for image segmentation using intensity contrast and depth contrast values
US20110211749A1 (en) System And Method For Processing Video Using Depth Sensor Information
Ling et al. Optimal transmission estimation via fog density perception for efficient single image defogging
Yang et al. Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms
Barros et al. Single-shot underwater image restoration: A visual quality-aware method based on light propagation model
Wang et al. An efficient method for image dehazing
Cheng et al. Semantic single-image dehazing
Łuczyński et al. Underwater image haze removal and color correction with an underwater-ready dark channel prior
Lee et al. Stereo image defogging
Verma et al. Systematic review and analysis on underwater image enhancement methods, datasets, and evaluation metrics
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
EP2930687B1 (en) Image segmentation using blur and color
Li et al. Laplace dark channel attenuation-based single image defogging in ocean scenes
Tsai et al. A novel method for 2D-to-3D video conversion based on boundary information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130422

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150422

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180423

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190418

Year of fee payment: 12