KR20130048299A

KR20130048299A - 영상 처리 장치 및 방법

Info

Publication number: KR20130048299A
Application number: KR1020110112603A
Authority: KR
Inventors: 홍지영; 조양호; 이호영; 황규영
Original assignee: 삼성전자주식회사
Priority date: 2011-11-01
Filing date: 2011-11-01
Publication date: 2013-05-10
Also published as: CN103096106A; KR101960844B1; CN103096106B; US20150288946A1; US20130106844A1; EP2590416B1; EP2590416A2; US9064319B2; US9445075B2; EP2590416A3

Abstract

영상 처리 장치가 제공된다. 관심 영역 구성부는 입력 입체 영상에 대응하여 인간의 시각적 선택 주의에 따른 Visual Attention Map을 생성한다. 그리고 디스패러티 조정부는 상기 Visual Attention Map을 이용하여 상기 입체 영상에 포함된 디스패러티 정보를 조정한다. 이렇게 디스패러티 정보가 조정된 결과를 이용하여 시청 피로가 저감된 입체 영상이 생성되어 출력된다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

3D 영상을 제공하는 디스플레이 장치 및 내부 영상 프로세싱 방법에 연관되며, 보다 특정하게는 3D 영상 시청 시 시청피로를 저감하는 영상 처리 장치 및 방법에 연관된다.

최근 3D (3 Dimensional) 영상에 대한 관심이 높아지고 있다. 3D 영상의 경우, 복수 개의 시점에 대응하여, 서로 다른 시점에 대응하는 영상들을 제공함으로써 구현되는데, 복수 개의 시점에 대응하는 멀티 뷰(multi view) 영상이나, 두 개의 시점에 대응하는 좌안(left eye) 및 우안(right eye) 영상들을 제공하는 스테레오스코픽(stereoscopic) 영상이 이에 해당한다.

3D 디스플레이는 기존의 평면 영상만을 표시하는 2D 디스플레이에 비해 차원 높은 현실감을 사용자에게 직접적으로 전달하는 것이 가능하다는 장점이 있지만, 좌/우 시각에 서로 다른 영상 정보를 표현함에 따라, 2D 영상에 비해 시각적 피로감이 유발될 가능성이 높아 해결이 요구된다.

이러한 시청 피로 저감을 위한 종래 기술로는 깊이 정보를 일률적으로 낮추는 방법이나, 니어 사이드 영역(Near side region) 의 경우 대비(Contrast)를 향상 시키고 파 사이드 영역(Far side region)의 경우 대비를 낮추는 방법 등이 소개되었다.

휴먼 비주얼 시스템(Human Visual System) 특성을 고려하여 입체감은 그대로 살리면서도 시청 피로를 저감할 수 있는 영상 처리 장치 및 방법이 제공된다.

시각적 선택주의(Visual Attention)를 고려하여 효율적으로 ROI(Region Of Interest)를 선택하여 시청 피로 저감에 따른 입체감 감소를 최소화 하는 영상 처리 장치 및 방법이 제공된다.

본 발명의 일측에 따르면, 입력 입체 영상에 대응하여 인간의 시각적 선택 주의에 따른 비주얼 어텐션 맵(Visual Attention Map)을 생성하는 관심 영역 구성부, 및 상기 비주얼 어텐션 맵을 이용하여 상기 입체 영상에 포함된 디스패러티 정보를 조정하는 디스패러티 조정부를 포함하는 영상 처리 장치가 제공된다.

본 발명의 일실시예에 따르면, 상기 관심 영역 구성부는, 입력 입체 영상의 디스패러티 정보를 이용하여 상기 입력 입체 영상에 포함된 깊이 값 분포를 복수 개의 영역으로 분리하는 영역 분리부, 및 상기 복수 개의 영역 각각에 대응하여 시각적 선택주의(Visual Attention) 정도를 계산하는 적어도 하나의 영역 계산부를 포함한다.

그리고 상기 관심 영역 구성부는, 상기 적어도 하나의 영역 계산부가 계산한 상기 복수 개의 영역 각각의 시각적 선택주의 정도를 통합하여 상기 비주얼 어텐션 맵(Visual Attention Map)을 생성하는 비주얼 어텐션 맵 계산부를 더 포함한다.

한편, 상기 적어도 하나의 영역 계산부는, 상기 입력 입체 영상의 칼라 스페이스를 변경하여 주목색 및 비주목색으로 구분하고 상기 주목색에 상기 비주목색 보다 높은 시각적 선택주의 정도를 계산할 수 있다.

이 경우, 상기 칼라 스페이스 변경은 상기 입력 입체 영상이 RGB 칼라 스페이스에 연관되는 경우 CIECAM 02 칼라 스페이스로 변경하는 것이고, 상기 주목색 및 비주목색으로의 구분은 칼라 값들의 색상(Hue) 및 채도(Chroma)를 참고하여 수행하는 것일 수 있다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 영역 계산부는, 상기 입력 입체 영상의 칼라 정보를 통해 판단되는 밝기 정보를 이용하여 프레임 간 밝기 차이가 미리 설정된 임계치 이상인 경우 상기 시각적 선택주의 정도를 높게 계산할 수 있다.

이 경우, 상기 적어도 하나의 영역 계산부는, 상기 입력 입체 영상을 일정 크기의 블록들로 분할하고, 서로 다른 두 프레임 내의 같은 위치의 블록에 대해 픽셀 값들의 차이가 상기 임계치 이상이 경우에 상기 블록을 움직임 검출 블록으로 결정하여 해당 블록의 시각적 선택주의 정도를 높게 계산할 수 있다.

여기서 상기 적어도 하나의 영역 계산부는, 상기 블록들을 복수 개의 그룹으로 구분하고, 하나의 그룹 내에 미리 지정된 개수 이상의 움직임 검출 블록이 존재하면 해당 그룹 내의 전체 블록의 시각적 선택주의 정도를 높게 계산할 수도 있다.

한편, 상기 적어도 하나의 영역 계산부는 상기 입력 입체 영상의 칼라 정보를 통해 판단되는 밝기 값이 미리 설정된 임계치 미만인 경우 상기 시각적 선택주의 정도가 낮게 계산될 수 있다.

본 발명의 일실시예에 따르면, 영상 처리 장치는 상기 시각적 선택 주의에 따라 생성한 비주얼 어텐션 맵 상에서 특정 영역의 텍스처(Texture) 종류에 따라 텍스처 향상 기법을 적용하여 깊이감을 향상 시키는 깊이감 향상 처리부를 더 포함한다.

본 발명의 다른 일측에 따르면, 입력 입체 영상의 칼라 값, 디스패러티 값 및 모션 감지 결과 중 적어도 하나를 참고하여 상기 입력 입체 영상에 대응하는 비주얼 어텐션 맵을 생성하는 관심 영역 구성부, 및 상기 비주얼 어텐션 맵을 이용하여 상기 입력 입체 영상의 디스패러티를 재조정하는 디스패러티 조정부를 포함하는 영상 처리 장치가 제공된다.

본 발명의 또 다른 일측에 따르면, 영상 처리 장치의 관심 영역 구성부가, 입력 입체 영상에 대응하여 인간의 시각적 선택 주의에 따른 비주얼 어텐션 맵을 생성하는 단계, 및 상기 영상 처리 장치의 디스패러티 조정부가 상기 비주얼 어텐션 맵을 이용하여 상기 입체 영상에 포함된 디스패러티 정보를 조정하는 단계를 포함하는 영상 처리 방법이 제공된다.

시청 피로는 효율적으로 저감되면서, 동시에 입체감은 향상될 수 있다.

3D 디스플레이의 장시간 시청에 따른 부작용이 최소화 될 수 있다.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치 방법을 도시한 흐름도이다.
도 2는 본 발명의 다른 일실시예에 따라 깊이감 향상 처리 과정이 포함된 영상 처리 방법을 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 영상 처리 장치를 도시하는 블록도이다.
도 4는 본 발명의 일실시예에 따른 도 3의 영상 처리 장치의 관심 영역 구성 부의 세부 구성을 도시하는 예시적 블록도이다.
도 5는 본 발명의 일실시예에 따라 관심 영역 구성 부가 영역 맵(Region Map)을 계산하는 과정을 도시하는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 도 3의 영상 처리 장치의 디스패러티 조정부의 동작을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일실시예에 따른 도 3의 영상 처리 장치의 입체 영상 생성부의 동작을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일실시예에 따른 영상 처리 장치에 포함된 입체감 향상부의 동작을 도시하는 흐름도이다.
도 9 및 도 10은 본 발명의 일실시예에 따른 영상 처리 장치의 입체 영상 생성 부가에서 디스패러티를 조정하기 전과 후의 차이를 설명하기 위한 개념도이다.
도 11은 본 발명의 일실시예에 따른 영상 처리 방법에 의한 Positive Perceived Depth 입체 영상 생성 과정을 설명하기 위한 개념도이다.
도 12는 본 발명의 일실시예에 따른 영상 처리 방법에 의한 Negative Perceived Depth 입체 영상 생성 과정을 설명하기 위한 개념도이다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 영상 처리 장치 방법을 도시한 흐름도이다.

본 발명의 일실시예에 따른 영상 처리 방법은, 3D 디스플레이에서 제공될 입력 입체 영상의 특성을 분석한다. 그리고 상기 분석된 특성을 이용하여 상기 입력 입체 영상의 디스패러티 정보를 조정하여 입체 영상 시청에 따른 피로도를 저감한다.

본 발명의 실시예들에 따른 영상 처리 장치는 인간 시각 지각(Human Visual Perception) 특성 중, 시각적 선택주의(Visual Attention)을 이용하여 관심 영역을 효율적이고 정확하게 예측한다. 그리고, 이를 바탕으로 입력 입체 영상의 특성에 따라 시각적 깊이감은 향상시키면서 시청 피로도는 크게 감소시킬 수 있다.

인간 시각 지각(Human Visual Perception) 특성과 관련하여 시각적 선택주의(Visual Attention)에 대한 연구들에 따르면, 시각은 청각보다 10배 이상의 정보를 제공하며 가장 핵심적인 역할을 하는 기관으로 전체 획득 정보의 70% 이상이 시각 정보로부터 획득된다. 입체영상에서는 시각의 정보가 입력 정보의 주요 기관으로 작용화 하며 시각은 곧 촉각화된다.

이러한 시각 기능을 담당하고 있는 인간의 눈은 모양, 색깔, 거리, 움직임, 명암, 질감, 기울기, 위치, 방향 등 주변 환경으로부터 다양하고 많은 정보들을 제공받는다. 이렇게 많은 정보가 입력되어도 인간의 뇌는 눈으로 들어오는 수많은 정보 중 의미 있는 정보를 선택하여 집중하는데 이를 시각적 시각적 선택 주의(Visual Attention or Selective Attention)라 한다. 즉, 시각적 선택 주의란 무엇을 볼 것인지(What to see)와 어디를 볼 것인가(Where to see)가 결정된다.

이하에서는 본 발명의 일실시예에 따른 영상 처리 장치가 입력 입체 영상의 디스패러티를 재조정하여 시청 피로도를 감소시키는 영상 처리 방법을 설명한다.

단계(110)에서 입체 영상이 입력된다. 입력되는 입체 영상은 칼라 영상과 디스패러티 정보일 수 있다. 3D 디스플레이 장치는 이러한 칼라 영상과 디스패러티 정보를 디코딩하여 스테레오스코픽 영상 또는 멀티뷰 영상을 생성한다.

본 발명의 일실시예에 따른 영상 처리 장치의 관심 영역 구성부는 단계(120)에서 입력 입체 영상을 분석하여 비주얼 어텐션 맵(Visual Attention Map)을 생성한다.

본 발명의 일실시예에 따르면, 관심 영역 구성부는 입력 입체 영상의 디스패러티 정보를 이용하여 입력 입체 영상을 서로 다른 깊이 레벨을 갖는 복수 개의 레이어(layer)로 나눈다. 이하에서는 이러한 레이어를 영역(Region)이라 할 수도 있다.

그리고 관심 영역 구성부는 이러한 영역들 각각의 칼라 정보, 디스패러티 정보, 모션 정보 중 적어도 하나를 이용하여 상기 복수 개의 영역들 중 시각 모델에 따른 시각적 선택주의의 정도를 계산한다. 이러한 시각적 선택주의의 정도가 화면에 대응하여 표현되기 때문에 비주얼 어텐션 맵(Visual Attention Map)의 구성으로 이해될 수 있다.

관심 영역 구성부가 비주얼 어텐션 맵을 생성하는 각각의 실시예들은 도 3 이하를 참조하여 보다 상세히 후술한다.

이렇게 비주얼 어텐션 맵이 계산되면 단계(130)에서 디스패러티 조정부는 입력 입체 영상에 포함된 디스패러티 정보를 재조정 한다.

이러한 재조정은 비주얼 어텐션 맵에 의해 파악되는 시각적 선택(Visual Attention)가 가장 높은 부분이 인간의 시청 피로도가 최소화 되는 정도의 디스패러티를 갖도록 하는 작업으로 이해될 수 있다. 일실시예에 따르면 시청 피로도가 최소화 되는 정도의 디스패러티는 디스플레이 스크린 근처에 대응하는 디스패러티일 수 있다. 예시적으로 디스패러티가 0이 되는 지점이 디스플레이 스크린으로 이해된다면 본 실시예에 의하면 시각적 선택(Visual Attention)이 가장 높은 부분의 디스패러티가 0으로 조정되는 것이다.

이렇게 재조정된 디스패러티를 이용하여 단계(140)에서 입체 영상 생성부는 입체 영상을 생성하고, 이렇게 생성된 입체 영상, 이를테면 스테레오스코픽 영상이 단계(150)에서 출력된다.

이러한 과정에 의해 시청 피로도가 저감되면서 화면 내에서 상대적 입체감은 유지되거나 더욱 향상될 수 있는 영상 처리가 가능하다.

도 2는 본 발명의 다른 일실시예에 따라 깊이감 향상 처리 과정이 포함된 영상 처리 방법을 도시한 흐름도이다.

단계(230)의 디스패러티 재조정 이후에 단계(240)에서 깊이감 향상 처리 단계가 수행된다는 차이가 있으나, 나머지 단계들, 즉 입체 영상 입력(210) 이후 비주얼 어텐션 맵(Visual Attention Map)을 구성하고(220) 디스패러티를 재조정 하는 단계(230)는 모두 도 1의 설명과 동일하다.

또한 깊이감 향상 처리(240) 이후에 최적 깊이가 적용된 입체 영상을 생성하는 단계(250)과 입체 영상을 출력하는 단계(260) 또한 도 1의 설명과 동일하다.

한편, 깊이감 향상 영상 처리 단계(240)는 도 6 내지 도 8을 참고하여 후술한다.

도 3은 본 발명의 일실시예에 따른 영상 처리 장치를 도시하는 블록도이다.

입체 영상이 입력되면 관심 영역 구성부(310)는 입력된 입체 영상을 분석하여 비주얼 어텐션 맵을 생성한다.

도 1을 참조하여 상기한 바와 같이 본 발명의 일실시예에 따르면, 관심 영역 구성부(310)는 입력 입체 영상의 디스패러티 정보를 이용하여 입력 입체 영상을 서로 다른 깊이 레벨을 갖는 복수 개의 영역으로 나눈다.

그리고 관심 영역 구성부(310)는 이러한 영역들 각각의 칼라 정보, 디스패러티 정보, 모션 정보 중 적어도 하나를 이용하여 상기 복수 개의 영역들 중 시각 모델에 따른 시각적 선택(Visual Attention)의 정도를 계산한다. 이러한 시각적 선택의 정도가 화면에 대응하여 표현되기 때문에 비주얼 어텐션 맵(Visual Attention Map)의 구성으로 이해될 수 있다.

관심 영역 구성부(310)가 비주얼 어텐션 맵을 생성하는 상세한 내용은 도 4 내지 도 5를 참조하여 상세히 후술한다.

디스패러티 조정부(320)는 관심 영역 구성부(310)가 생성한 비주얼 어텐션 맵을 이용하여 입력 입체 영상의 디스패러티를 최적의 시청 피로도가 가능하도록 조정한다.

이러한 디스패러티 조정에 의해 비주얼 어텐션 맵에 의해 파악되는 시각적 선택(Visual Attention)의 정도가 가장 높은 영역이 인간의 시청 피로도가 최소화 되는 깊이로 이동된다. 본 발명의 일실시예에 따르면 시청 피로도가 최소화 되는 정도의 디스패러티는 디스플레이 스크린 근처에 대응하는 디스패러티이기 때문에, 시각적 선택(Visual Attention)이 가장 높은 부분의 디스패러티가 0이 되는 조정이 가능하다.

디스패러티 조정부(320)의 동작은 도 6 및 도 9 내지 도 12를 참조하여 보다 상세히 후술한다.

그러면, 입체 영상 생성부(330)는 이렇게 재조정된 디스패러티를 이용하여 최소의 시청 피로도를 제공하는 입체 영상을 생성한다. 입체 영상 생성부(330)의 동작은 도 7 내지 도 8을 참조하여 보다 상세히 후술한다.

도 4는 본 발명의 일실시예에 따른 도 3의 영상 처리 장치의 관심 영역 구성 부(310)의 세부 구성을 도시하는 예시적 블록도이다.

본 발명의 일실시예에 따르면 관심 영역 구성부(310)는 영역 분리부(410), Region 1 계산부(421), Region 2 계산부(422), …, Region N 계산부(423) 및 비주얼 어텐션 맵 계산부(430)를 포함한다.

영역 분리부(410)는 입력 입체 영상에 포함되는 디스패러티 정보를 이용하여, 상기 입력 입체 영상의 깊이 값 수준을 N 개로 나눈다. 이러한 과정에서 본 발명의 일실시예에 따르면 최소 깊이 값부터 최대 깊이 값 사이가 N 개로 균등 분할될 수 있다.

그러나 이는 본 발명의 일부 실시예에 불과하며, 다른 실시예에서는 깊이 값들의 분포에 따라 많은 픽셀들이 몰려 있는 깊이 값 주변에는 더 여러 개의 레이어가 할당되고 적은 수의 픽셀들에 대응하는 깊이 값은 비교적 넓은 범위가 하나의 레이어로 할당될 수 있다. 이러한 경우 깊이 값에 따른 영역(레이어) 분할은 시간 흐름에 따라 매 프레임 마다 적응적으로(adaptively) 수행될 수 있다.

이렇게 깊이 값 수준에 따라 영역들이 Region 1부터 Region N까지 나누어지면, 각각에 대응하는 Region 계산부들(421, 422 및 423 등)이 각 영역에 대해 시각적 선택주의(Visual Attention) 정도를 계산한다. 이러한 시각적 선택주의 정도는 인간의 시각 인지 모델에 따라 색상, 디스패러티, 객체의 움직임(motion) 중 적어도 하나에 의해 판단될 수 있다.

인간이 더 주목해서 보는 색상에, 강조 되어야 할 수준의 디스패러티가 있는 부분에, 그리고 객체가 움직이는 부분에 더 높은 시각적 선택주의(Visual Attention) 정도의 값이 나오는 방식으로 계산이 수행된다.

비주얼 어텐션 맵 계산부(430)는 각 Region 계산부들(421, 422 및 423 등)이 계산한 영역 별 시각적 선택주의(Visual Attention) 정도를 이용하여 화면 전체에 대한 비주얼 어텐션 맵을 생성한다.

한편, 각 Region 계산부들(421, 422 및 423 등)이 해당 영역의 영역 맵(Region Map)을 계산하는 과정은 도 5를 참조하여 설명된다.

도 5는 본 발명의 일실시예에 따라 관심 영역 구성 부가 Region Map을 계산하는 과정을 도시하는 흐름도이다.

단계(510)에서 깊이 수준에 따라 N개로 나뉘어진 각각의 영역에 대해 칼라(colour) 정보를 분석하고자 색공간 변경이 수행된다.

RGB 칼라 스페이스에 의한 입력 입체 영상의 칼라 정보가 인간의 시각 인지와 가장 유사한 CIECAM 02의 J(lightness), C(chroma), H(hue quadrature) 기반 칼라 스페이스로 변환된다. 여기서 CIECAM02의 J, C, 및 H는 각각 휘도값, 채도값, 색상 값을 의미한다.

상기 입력 영상에 대한 색 공간은 RGB 디지털 신호로서 인간의 시각 체계와 연관되지 않기 때문에 상기 인간의 시각 체계의 최종 출력으로서 표현되는 밝기(Lightness), 채도(Chroma) 및 색상(Hue)과 같이 인간의 지각 특성이 이용될 수 있다.

영역 계산부들은 변경된 색공간에서 얻게 된 칼라 정보를 통하여 각 영역에 해당하는 각 레이어(영역)에 대응하는 칼라 히스토그램(colour histogram)을 만든다. 여기서 칼라 정보 중, 색상에 해당하는 색상(Hue) 정보를 기본으로 하여 히스토그램이 만들어진다.

그리고 이때 사용되는 색상 영역은 기 설정된 영역으로 위에서 언급된 색공간 중 CIECAM02의 휴 쿼더러처(Hue quadrature)혹은 휴 앵글(Hue angle)로 영역이 나뉘어질 수 있고, 또는 LCH 색공간의 색상(Hue)값을 기준으로 영역을 나뉘어 판단 할 수 있다.

그러면 각 영역 별로 생성된 칼라 히스토그램(colour histogram)을 통해 해당 레이어(layer)를 대표할 수 있는 대표 색상이 결정된다. 여기서 대표 색상은 칼라 히스토그램 상에서 가장 많은 빈도(frequency)를 나타내는 칼라로서, 해당 레이어(Layer)의 대표 색상이라고 할 수 있다. 물론 이러한 실시예는 본 발명의 다양한 실시예 중 하나에 불과하며, 이외에도 다른 방법으로 대표색상을 결정할 수 있다.

단계(520)에서는 이렇게 결정된 대표색상이 시각적 선택 주의와 관련 있는 주목색상 영역에 해당하는지, 혹은 비주목 색상 영역에 해당하는지 여부가 판단된다.

그리고 단계(530)에서는 주목색에 해당하는 각 화소에 대해서 시각적으로 주목을 가질 수 잇는 밝기(lightness) 값에 해당하는지 여부가 판단된다.

통상적으로 밝기가 어두운 경우, 시각적 선택 주의에 해당하는 색상 영역에 속하더라도, 색상을 인지할 수 없으므로, 시각적 선택주의(Visual Attention) 정도가 높게 계산될 필요가 없으며, 이렇게 밝기(lightness)를 고려함으로써 시각적 선택주의(Visual Attention) 정도의 계산 과정의 노이즈가 제거될 수 있다.

그리고, 단계(540)에서 특정 픽셀이 움직이고 있는 오브젝트에 대응하는 것인지의 여부가 판단된다.

통상 모션(motion)의 차이가 클수록 시각적 선택 주의에 따른 주의를 기울이게 되는 부분이다. 이러한 이론적 전제에서 밝기(lightness)를 이용하여 모션(motion)의 차이를 구하도록 한다.

다만, 여기서 모션은 영상 입력 장치(카메라)의 패닝이나 원치 않는 흔들림은 거의 없다는 가정 하에 있으며, 밝기의 차이가 프레임 별로 크면 클수록 그 부분은 오브젝트의 모션이 있는 부분, 즉 주목하게 되는 부분인 것으로 판단될 수 있다.

이 과정에서 본 발명의 일실시예에 다르면, T0입력 프레임과 T0 +??t입력 프레임을 일정 크기의 블록으로 나누고, 두 프레임 내의 같은 위치의 블록에 대해 픽셀 값들의 차이가 미리 설정된 임계값 이상인 경우에는 움직임이 발생한 것으로 간주할 수도 있다.

그리고 이러한 과정에서 빠르게 이동하는 물체는 두 개의 다른 영역으로 감지될 가능성이 많은데, 이를 하나로 통합해주기 위해 블록 집합 내에 특정 수 이상의 움직임 검출 블록이 나타나면 전체 블록 집합을 하나의 영역으로 표시하는 방법을 사용하도록 한다. 즉, 개별 블록이 아닌 주변 블록들을 함께 고려할 수 있다.

단계(550)에서는 각 영역 들에 대해 계산된 영역 맵(Region Map)이 통합된다. 그러면 전체 비주얼 어텐션 맵이 구성된다.

도 6은 본 발명의 일실시예에 따른 도 3의 영상 처리 장치의 디스패러티 조정부(320)의 동작을 설명하기 위한 흐름도이다.

디스패러티 조정부(320)는 관심 영역 구성부(310)가 제공한 비주얼 어텐션 맵과 입력영상의 디스패러티(disparity)를 이용하여 재조정된 디스패러티를 생성한다.

도 7은 본 발명의 일실시예에 따른 도 3의 영상 처리 장치의 입체 영상 생성부의 동작을 설명하기 위한 흐름도이다.

비주얼 어텐션 맵을 통해 가장 관심도가 높은, 즉 주목을 받게 되는 디스패러티가 대표 값으로 결정된다.

이 과정에서 관심 영역 구성부(310)에서 설정된 비주얼 어텐션 맵과 기 설정된 임계치(threshold)에 따라서 N개로 나뉘어진 영역 디스패러티가 입력으로 들어오면, 비주얼 어텐션 맵에서 가장 큰 시각적 선택주의(Visual attention) 값을 가지고 있는 화소들의 분포를 파악하고, 이 화소들이 속해있는 영역을 찾아서 해당 영역의 깊이값에 해당하는 디스패러티의 평균값, 또는 대표 값을 구하도록 한다.

재조정할 대표 값을 설정 하는 방법에는 여러 가지가 존재할 수 있으나, 본 발명의 일실시예에 따르면 예시적으로 평균값을 계산하여 대표 값이 설정될 수도 있다.

이렇게 결정된 디스패러티 대표 값 α은 깊이를 이동 시키고자 할 때 사용되도록 한다. 즉, 관심 영역, 혹은 비관심 영역에 해당하는 각 화소의 디스패러티 정보에서 디스패러티 대표 α값의 차분을 해당 화소의 디스패러티 값으로 변경하는데 사용된다. 계산된 최종 디스패러티 값은 화소별로 각각 적용하여 관심 영역은 디스플레이(Display) 표면상에 위치하도록 하고, 관심영역을 제외한 다른 화소들은 관심영역의 디스패러티 대표 α값을 기준으로 이동 하게 된다. 여기서 언급된 디스패러티는 깊이감을 나타내는 용어 중 한가지이며, 디스패러티 외에 깊이감을 나타내는 다른 용어가 사용될 수 있다.

도 8은 본 발명의 일실시예에 따른 영상 처리 장치에 포함된 입체감 향상부의 동작을 도시하는 흐름도이다.

입체 영상 생성 부는 디스패러티가 재조정된 후, 변경된 디스패러티를 통해서 입력 영상과 다른 디스패러티를 갖는 3D 입체 영상을 다시 렌더링 하는 역할을 수행 하도록 한다. 이를 위해서 사용되는 방법으로는 DIBR(depth image based rendering)로써, 참조 영상(Reference image)과 참조 영상의 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(Depth image)을 이용하여 임의의 시점에서의 영상을 렌더링 하는 기법이다. 또한 DIBR 기술을 이용하여 임의 시점에서의 장면을 생성할 수 있다. 수식은 다음과 같이 공통적으로 사용한다.

u_v는 구하고자 하는 가상 시점(virtual view)을 의미하며, u_r은 입력, d는 디스패러티, β 는 임의의 수로 만들고자 하는 view를 설정 시 변경 가능한 수임을 알 수 있다. 예를 들어, 하나의 참조 영상과 깊이 영상의 깊이 정보를 통해 3차원 공간에 영상을 재 투영시킨 후, 좌측 영상은 깊이에 따라 영상 안의 물체들을 원래의 컬러 영상에 비해 우측으로 이동시키며, 우측 영상은 영상 안의 물체들을 좌측으로 이동시키게 된다.

도 9 및 도 10은 본 발명의 일실시예에 따른 영상 처리 장치의 입체 영상 생성 부가에서 디스패러티를 조정하기 전과 후의 차이를 설명하기 위한 개념도이다.

이 도면들은 입체 영상에서 출력될 오브젝트들과 디스플레이 스크린을 위에서 내려다 본 평면도(top down view)이다.

이때, 깊이감에 비례하여 물체의 움직임이 결정 된다. 위와 같은 방법으로 이동된 경우, 도 9 와 도10 에서 보여지는 바와 같이 깊이에 해당하는 디스패러티 이동 전 깊이 감(Perceived Depth)과 디스패러티 이동 후 깊이 감(Perceived Depth)이 같다는 것을 알 수 있다.

즉, 시정 피로도가 최소화 되도록 오브젝트들(910, 920 및 930)의 깊이 값이 도 9나 도 10의 (a)에서 (b)로 변경되지만, 오브젝트들(910, 920 및 930) 사이의 상대적 입체감은 여전히 유지된다.

오히려 이러한 경우에는 인간의 시각 특성 상 입체감이 유지되는 것 이상으로 입체감이 향상되는 것으로 이해될 수 있다.

도 10을 다시 참조하면 시각적 선택주의(Visual Attention)가 높은 대표 오브젝트(1010)이 스크린(1001) 정도로 디스패러티는 줄었다. 그러나 다른 오브젝트들(1020 및 1030)과의 상대적 입체감 차이는 유지/향상된다.

이러한 내용은 도 9에서 오브젝트들(910 내지 930)이 스크린(901) 가까이 이동되는 것에도 그대로 적용되었다.

도 11은 본 발명의 일실시예에 따른 영상 처리 방법에 의한 Positive Perceived Depth 입체 영상 생성 과정을 설명하기 위한 개념도이다.

입력 입체 영상을 Positive Perceived Depth, 즉 디스플레이 뒷면에 위치하도록 이동하는 경우가 도시되었다.

도 11에서 디스패러티 대표 α값 만큼 이동 하는 경우, 좌우 영상에서 α/2만큼 영상을 잘라내고 잘라진 α/2만큼 비워진 공간을 채우기(Inpainting) 하여 작업을 통해 홀(hole)을 채워주는 역할을 수행하도록 한다.

도 12는 본 발명의 일실시예에 따른 영상 처리 방법에 의한 음의 깊이 감(Negative Perceived Depth) 입체 영상 생성 과정을 설명하기 위한 개념도이다.

이 경우에는 음의 깊이 감(Negative Perceived Depth)으로, 디스플레이 앞면으로 튀어나와 보이는 영상으로 이동 하는 경우의 예를 나타내며 양의 깊이 감(Positive Perceived Depth)와 마찬가지로 이동될 양의 α/2만큼 영상에서 잘라내고 잘라낸 만큼 복원해주는 경우를 나타내고 있다.

구체적 처리는 도 7을 참조해서 이해될 수 있다.

한편, 상기 예들은 모두 최종적 입체 영상이 스테레오스코픽 형태로 출력되는 것을 가정한 것이지만, 이러한 내용을 멀티 뷰(Multi-view) 영상으로 확대하여 적용하는 것은 매우 straight forward한 내용이다.

따라서 렌더링에 있어서 일부 차이가 있을 뿐 스테레오스코픽(Stereoscopic)과 동일한 방법을 사용하여 다양한 view 영상들이 재구성될 수 있는 것이다.

한편, 도 7 내지 도 8에서 새로운 출력을 만들어 내는 깊이감 향상 영상 처리를 수행하는 경우, 에서는 3D 입체 영상에서 깊이 감(Perceived Depth)을 유지하며 피로감 없는 영상 생성을 위해 texture 관련 처리기술을 적용함으로써 보다 현실감 있는 영상을 생성할 수 있다.

우선, 전체적인 밝기 맵핑(lightness mapping)을 통해 입력영상의 대비를 증진 시킨 후, 관심 영역에 해당되는 영역의 특성을 파악하여 텍스처(texture) 종류를 분석하도록 한다. 분류된 텍스처의 종류에 따라 기 설정된 밝기 맵핑(lightness mapping)방법을 적용함으로써, 시각적 선택 주의를 요하는 영역의 특성에 맞는 텍스처 처리방법으로 보다 깊이감 있는 영상을 제공할 수 있다. 이외에도 많은 향상 기법이 있으나, 본 발명에서는 하나의 예로 텍스처 향상 방법을 기재하였다.

이상의 설명을 통해 제시된 바와 같이 본 발명의 실시예들에 따르면 종래의 에어리얼 퍼셉티브(Aerial Perspective)를 이용하여 깊이감을 향상 시키는 방법에 비해 시청 피로 저감 효과가 높다. 에어리얼 퍼셉티브(Aerial Perspective)를 이용하여 깊이감을 향상 시키는 방법은 입력 입체 영상에서 깊이(Depth) 정보를 이용하여 니어 사이드 영역(Near side region) 의 경우 대비(Contrast)를 향상 시키고, 파 사이드 영역(Far side region)의 경우 대비(Contrast)를 낮추는 방법이어서 깊이 감, 즉 입체감은 다소 향상 될 수 있으나 시청 피로도 해결 효과는 본원에 비해 미비하였다.

또한, 종래의 휴먼 비주얼 시스템 특성을 고려하지 않고 단순히 깊이 정보와 시청거리만을 이용하여 관심 영역을 구하고 이 관심 영역과의 거리를 기준으로 Near/Far 영역(region)들의 깊이감을 일률적으로 재조정 하는 방법의 경우 전체적인 시청 피로도 저감에는 어느 정도 효과가 있으나 깊이감이 상실되어 3D 디스플레이 본연의 역할에 반하였다.

그러나 상기 본 발명의 실시예들에 따르면 휴먼 비주얼 시스템 특성이 깊이감 향상과 시청 피로도 저감을 위해 활용되고, 3D 입력영상의 영상 특성을 휴먼 비주얼 퍼셉션(Human Visual Perception) 특성 가운데 시각적 선택주의(Visual Attention) 에 해당하는 관심 영역 ROI(Region of Interest)이 효율적으로 선별되며, 이러한 관심영역이 시청 피로도를 최소화 하는 정도의 디스패러티를 갖게 영상을 재생성되므로, 시청 피로도 저감과 깊이감 향상의 요구가 함께 만족된다.

본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

310: 관심 영역 구성부
320: 디스패러티 조정부
330: 입체 영상 생성부

Claims

입력 입체 영상에 대응하여 인간의 시각적 선택 주의에 따른 비주얼 어텐션 맵(Visual Attention Map)을 생성하는 관심 영역 구성부; 및
상기 비주얼 어텐션 맵을 이용하여 상기 입체 영상에 포함된 디스패러티 정보를 조정하는 디스패러티 조정부
를 포함하는 영상 처리 장치.
제1항에 있어서,
상기 관심 영역 구성부는,
입력 입체 영상의 디스패러티 정보를 이용하여 상기 입력 입체 영상에 포함된 깊이 값 분포를 복수 개의 영역으로 분리하는 영역 분리부; 및
상기 복수 개의 영역 각각에 대응하여 시각적 선택주의(Visual Attention) 정도를 계산하는 적어도 하나의 영역 계산부
를 포함하는 영상 처리 장치.
제2항에 있어서,
상기 관심 영역 구성부는,
상기 적어도 하나의 영역 계산부가 계산한 상기 복수 개의 영역 각각의 시각적 선택주의 정도를 통합하여 상기 비주얼 어텐션 맵을 생성하는 비주얼 어텐션 맵 계산부
를 더 포함하는 영상 처리 장치.
제2항에 있어서,
상기 적어도 하나의 영역 계산부는,
상기 입력 입체 영상의 칼라 스페이스를 변경하여 주목색 및 비주목색으로 구분하고 상기 주목색에 상기 비주목색 보다 높은 시각적 선택주의 정도를 계산하는 영상 처리 장치.
제4항에 있어서,
상기 칼라 스페이스 변경은 상기 입력 입체 영상이 RGB 칼라 스페이스에 연관되는 경우 CIECAM 02 칼라 스페이스로 변경하는 것이고, 상기 주목색 및 비주목색으로의 구분은 칼라 값들의 색상(Hue) 및 채도(Chroma)를 참고하여 수행하는 영상 처리 장치.
제2항에 있어서,
상기 적어도 하나의 영역 계산부는, 상기 입력 입체 영상의 칼라 정보를 통해 판단되는 밝기 정보를 이용하여 프레임 간 밝기 차이가 미리 설정된 임계치 이상인 경우 상기 시각적 선택주의 정도를 높게 계산하는 영상 처리 장치.
제6항에 있어서,
상기 적어도 하나의 영역 계산부는, 상기 입력 입체 영상을 일정 크기의 블록들로 분할하고, 서로 다른 두 프레임 내의 같은 위치의 블록에 대해 픽셀 값들의 차이가 상기 임계치 이상이 경우에 상기 블록을 움직임 검출 블록으로 결정하여 해당 블록의 시각적 선택주의 정도를 높게 계산하는 영상 처리 장치.
제7항에 있어서,
상기 적어도 하나의 영역 계산부는, 상기 블록들을 복수 개의 그룹으로 구분하고, 하나의 그룹 내에 미리 지정된 개수 이상의 움직임 검출 블록이 존재하면 해당 그룹 내의 전체 블록의 시각적 선택주의 정도를 높게 계산하는 영상 처리 장치.
제2항에 있어서,
상기 적어도 하나의 영역 계산부는 상기 입력 입체 영상의 칼라 정보를 통해 판단되는 밝기 값이 미리 설정된 임계치 미만인 경우 상기 시각적 선택주의 정도를 낮게 계산하는 영상 처리 장치.
제1항에 있어서,
상기 시각적 선택 주의에 따라 생성한 비주얼 어텐션 맵 상에서 특정 영역의 텍스처(Texture) 종류에 따라 텍스처 향상 기법을 적용하여 깊이감을 향상 시키는 깊이감 향상 처리부
를 더 포함하는 영상 처리 장치.
입력 입체 영상의 칼라 값, 디스패러티 값 및 모션 감지 결과 중 적어도 하나를 참고하여 상기 입력 입체 영상에 대응하는 비주얼 어텐션 맵(Visual Attention Map)을 생성하는 관심 영역 구성부; 및
상기 비주얼 어텐션 맵을 이용하여 상기 입력 입체 영상의 디스패러티를 재조정하는 디스패러티 조정부
를 포함하는 영상 처리 장치.
영상 처리 장치의 관심 영역 구성부가, 입력 입체 영상에 대응하여 인간의 시각적 선택 주의에 따른 비주얼 어텐션 맵을 생성하는 단계; 및
상기 영상 처리 장치의 디스패러티 조정부가 상기 비주얼 어텐션 맵을 이용하여 상기 입체 영상에 포함된 디스패러티 정보를 조정하는 단계
를 포함하는 영상 처리 방법.
제12항에 있어서,
상기 비주얼 어텐션 맵을 생성하는 단계는,
입력 입체 영상의 디스패러티 정보를 이용하여 상기 입력 입체 영상에 포함된 깊이 값 분포를 복수 개의 영역으로 분리하는 단계; 및
상기 복수 개의 영역 각각에 대응하여 시각적 선택주의 정도를 계산하는 단계
를 포함하는 영상 처리 방법.
제13항에 있어서,
상기 비주얼 어텐션 맵을 생성하는 단계는, 상기 적어도 하나의 영역 계산부가 계산한 상기 복수 개의 영역 각각의 시각적 선택주의 정도를 통합하여 상기 비주얼 어텐션 맵을 생성하는 영상 처리 방법.
제13항에 있어서,
상기 복수 개의 영역 각각에 대응하여 시각적 선택주의 정도를 계산하는 단계는,
상기 입력 입체 영상의 칼라 스페이스를 변경하는 단계; 및
상기 입력 입체 영상의 각 부분을 주목색 및 비주목색으로 구분하는 단계; 및
상기 주목색에 상기 비주목색 보다 높은 시각적 선택주의 정도를 계산하는 단계
를 포함하는 영상 처리 방법.
제13항에 있어서,
상기 복수 개의 영역 각각에 대응하여 시각적 선택주의 정도를 계산하는 단계 는, 상기 입력 입체 영상의 칼라 정보를 통해 판단되는 밝기 정보를 이용하여 프레임 간 밝기 차이가 미리 설정된 임계치 이상인 경우 상기 시각적 선택주의 정도를 높게 계산하는 영상 처리 방법.
제16항에 있어서,
상기 복수 개의 영역 각각에 대응하여 시각적 선택주의 정도를 계산하는 단계는, 상기 입력 입체 영상을 일정 크기의 블록들로 분할하고, 서로 다른 두 프레임 내의 같은 위치의 블록에 대해 픽셀 값들의 차이가 상기 임계치 이상이 경우에 상기 블록을 움직임 검출 블록으로 결정하여 해당 블록의 시각적 선택주의 정도를 높게 계산하는 영상 처리 방법.
제12항 내지 제17항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.