KR20120056757A - 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기억 매체 - Google Patents

Abstract

화상 처리 장치(10a)는, 정점 설정부(12)와, 샘플링점 설정부(14)와, 시차 화상 생성부(16)를 구비한다. 정점 설정부(12)는, 제1 화소를 포함하는 제1 화상 데이터로부터 생성한 샘플링 좌표 공간에 정점을 설정한다. 샘플링점 설정부(14)는, 샘플링 좌표 공간에 대상점을 설정하고, 대상점의 화소 성분에 기초하여 산출한 샘플링 좌표에 대상점에 대응하는 샘플링점을 설정한다. 시차 화상 생성부(16)는, 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하여, 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성한다.

Description

화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기억 매체{IMAGE PROCESSING APPARATUS, METHOD FOR HAVING COMPUTER PROCESS IMAGE AND COMPUTER READABLE STORAGE MEDIUM}

본 발명의 실시형태는, 화상 처리 장치, 화상 처리 방법 및 기억 매체에 관한 것이다.

최근, 삼차원(3D(Three-Dimension)) 화상을 재생 가능한 디스플레이의 보급에 따라, 3D 콘텐츠의 제공에 더하여, 기존의 이차원(2D(Two-Dimension)) 화상으로부터 3D 화상으로의 변환(이하, 「2D 3D 변환」)이 요구되고 있다. 일반적인 2D 3D 변환에서는, 깊이 추정 처리와, 시차 화상 생성 처리가 행해진다.

그러나, 일반적인 깊이 추정 처리에서는, 2D 화상으로부터 완전한 깊이 정보를 얻을 수 없기 때문에, 미리 결정된 알고리즘을 이용하여 깊이 정보가 추정된다. 그 결과, 추정된 깊이 정보가 원화상과 다른 깊이를 나타내는 경우에는, 재생되는 3D 화상이 시청자에게 위화감을 부여하여 버린다.

또한, 일반적인 시차 화상 생성 처리에서는, 원화상에 존재하지 않는 셰이드면부를 보완하는 처리가 행해진다. 셰이드면부는 화질을 열화시키는 요인이 되는 경향이 있다. 따라서, 셰이드면부를 보완하는 것은, 생성되는 3D 화상의 품질에 있어서 바람직하지 못하다.

또한, 일반적인 깊이 추정 및 시차 화상 생성의 처리량은, 모두, 매우 크다. 한편, 리얼 타임으로 3D 화상을 재생하기 위해, 2D 3D 변환에는 단시간의 처리가 요구된다. 따라서, 깊이 추정 처리 및 시차 화상 생성 처리를 실현하는 알고리즘을 단시간으로 실행하는 것과 같은 대규모의 프로세서를 구비하고 있지 않은 휴대 전화 등의 소형 기기에서는, 2D 3D 변환을 실현할 수는 없다.

본 발명이 해결하고자 하는 과제는, 생성되는 3D 화상의 품질을 열화시키는 일없이, 처리량이 작은 2D 3D 변환을 실행할 수 있는 화상 처리 장치, 화상 처리 방법 및 기록 매체를 제공하는 것이다.

실시형태의 화상 처리 장치는, 제1 화소를 포함하는 제1 화상 데이터로부터 생성한 샘플링 좌표 공간에 정점을 설정하는 정점 설정부와, 상기 샘플링 좌표 공간에 대상점을 설정하고, 상기 대상점의 화소 성분에 기초하여 산출한 샘플링 좌표에 상기 대상점에 대응하는 샘플링점을 설정하는 샘플링점 설정부와, 상기 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하여, 상기 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성하는 시차 화상 생성부를 구비한다.

또한 별도의 실시형태의 화상 처리 방법은, 제1 화소를 포함하는 제1 화상 데이터로부터 샘플링 좌표 공간을 생성하고, 상기 샘플링 좌표 공간에 정점 및 대상점을 설정하며, 상기 대상점의 화소 성분에 기초하여 샘플링 좌표를 산출하고, 상기 샘플링 좌표에 상기 대상점에 대응하는 샘플링점을 설정하며, 상기 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하고, 상기 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

또한 별도의 실시형태의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 기억 매체는, 복수의 제1 화소를 포함하는 제1 화상 데이터로부터 샘플링 좌표 공간을 생성하고, 상기 샘플링 좌표 공간에 정점 및 대상점을 설정하며, 상기 대상점의 화소 성분에 기초하여 샘플링 좌표를 산출하고, 상기 샘플링 좌표에 상기 대상점에 대응하는 샘플링점을 설정하며, 상기 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하고, 상기 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성한다.

상기 구성의 화상 처리 장치, 화상 처리 방법 및 기록 매체에 따르면, 생성되는 3D 화상의 품질을 열화시키는 일없이, 처리량이 작은 2D 3D 변환을 실행 가능하게 할 수 있다.

도 1은 본 발명의 실시형태에 따른 화상 처리 시스템(1)의 블록도이다.
도 2는 제1 화상 데이터(IMG)의 구조를 나타내는 도면이다.
도 3은 제1 실시형태의 화상 처리 장치(10a)의 블록도이다.
도 4는 제1 실시형태의 2D 3D 변환 처리의 흐름도이다.
도 5는 제1 실시형태의 2D 3D 변환 처리를 설명하기 위한 샘플링 좌표 공간(CS)의 개략도이다.
도 6은 제1 실시형태의 샘플링점 설정 처리의 흐름도이다.
도 7의 (A)?도 7의 (C)는 제1 실시형태의 샘플링 설정을 설명하는 도면이다.
도 8은 제2 화상 데이터(IMG')의 구조를 나타내는 도면이다.
도 9는 제1 실시형태의 시차 화상 생성 처리의 흐름도이다.
도 10의 (A) 및 도 10의 (B)는 제1 실시형태의 제2 화소의 화소값 산출의 일례를 나타내는 도면이다.
도 11은 제2 실시형태의 화상 처리 장치(10a)의 블록도이다.
도 12는 제2 실시형태의 2D 3D 변환 처리의 흐름도이다.
도 13은 제2 실시형태의 깊이 정보 생성 처리의 흐름도이다.
도 14의 (A) 및 도 14의 (B)는 제2 실시형태의 깊이 생성 처리를 설명하는 도면이다.
도 15의 (A) 및 도 15의 (B)는 제2 실시형태의 깊이 생성 처리를 설명하는 도면이다.
도 16의 (A) 및 도 16의 (B)는 제2 실시형태의 샘플링점 보정을 설명하는 도면이다.

본 발명의 실시형태에 대해서, 도면을 참조하여 설명한다. 도 1은 본 발명의 실시형태에 따른 화상 처리 시스템(1)의 블록도이다. 화상 처리 시스템(1)은, 프로세서(10)와, 메모리(20)와, 비디오 인터페이스(30)와, 디스플레이(40)를 구비한다. 프로세서(10)는, 정해진 화상 처리 프로그램을 기동하면, 화상 처리 장치(10a)로서 동작하는 모듈이다. 화상 처리 장치(10a)는, 화상 처리 장치(10a)를 이용하는 하드웨어 또는 소프트웨어로부터 부여되는 설정 정보에 기초하여, 2D 화상으로부터 2개 이상의 시차 화상을 생성하는 장치이다. 메모리(20)는 2D 화상을 표현하는 제1 화상 데이터와, 화상 처리 장치(10a)에 의해 생성되는 2개 이상의 시차 화상을 표현하는 제2 화상 데이터를 포함하는 여러가지 데이터를 저장할 수 있는 기억 매체(예컨대, DRAM(Dynamic Random Access Memory))이다. 비디오 인터페이스(30)는, 화상 처리 시스템(1)에 접속되는 외부 장치로부터 제1 화상 데이터를 입력하며, 외부 장치에 제2 화상 데이터를 출력하는 모듈이다. 비디오 인터페이스(30)는, 예컨대, 부호화된 제1 화상 데이터를 복호화하는 디코더와, 제2 화상 데이터를 부호화하는 인코더를 구비한다. 디스플레이(40)는, 화상을 표시하는 모듈(예컨대, 3D 대응 액정 텔레비젼)이다. 또한, 디스플레이(40)는, 생략되어도 좋다.

도 2는 본 발명의 실시형태에 따른 제1 화상 데이터(IMG)의 구조를 나타내는 도면이다. 제1 화상 데이터(IMG)는, W축 및 H축의 제1 좌표 공간에, W 방향 및 H 방향으로 배열된 Wm×Hm(Wm 및 Hm은 자연수)개의 제1 화소(PX)를 포함하는 데이터이다. 제1 화소(PX(w, h))는, 좌표(w, h)(1≤w≤Wm, 1≤h≤Hm) 상에 위치하는 화소이다. 각 제1 화소(PX)는, 예컨대 YUV 포맷으로 정의되는 화소값(휘도 성분(Y), 제1 차분 성분(U), 및 제2 차분 성분(V))을 포함한다. 휘도 성분(Y(w, h))은, 제1 화소(PX(w, h))의 휘도를 나타내는 화소값이다. 제1 차분 성분(U(w, h))은, 제1 화소(PX(w, h))의 청색 성분의 차분을 나타내는 화소값이다. 제2 차분 성분(V(w, h))은, 제1 화소(PX(w, h))의 적색 성분의 차분을 나타내는 화소값이다. 휘도 성분(Y), 제1 차분 성분(U), 및 제2 차분 성분(V)은 각각, 예컨대 0?255의 8 비트 신호(256 계조)로 나타낸다. 또한, 화상 처리 시스템(1)은, 그 외의 포맷(예컨대 RGB 포맷)으로 정의되는 화소값을 포함하는 화상 데이터를 취급할 수도 있다.

(제1 실시형태)

제1 실시형태에 대해서 설명한다. 제1 실시형태는, 대상점이 임의의 정점(定点)에 가까울수록 정점의 가까운 곳에 샘플링점을 설정하고, 대상점이 정점으로부터 멀수록 정점의 먼 곳에 샘플링점을 설정하는 화상 처리 장치의 예이다.

제1 실시형태의 화상 처리 장치의 구성에 대해서 설명한다. 도 3은 제1 실시형태의 화상 처리 장치(10a)의 블록도이다. 화상 처리 장치(10a)는, 정점 설정부(12)와, 샘플링점 설정부(14)와, 시차 화상 생성부(16)를 구비한다.

제1 실시형태의 화상 처리 장치의 동작에 대해서 설명한다. 도 4는 제1 실시형태의 2D 3D 변환 처리의 흐름도이다. 2D 3D 변환 처리는, 화상 처리 장치(10a)로서 동작하는 프로세서(10)에 의해 실행된다.

<S400> 정점 설정부(12)는, 제1 좌표 공간으로부터, 정해진 샘플링 분해능에 기초하여 Xm×Ym의 샘플링 좌표 공간(CS)을 생성하고, 생성한 샘플링 좌표 공간(CS)에 n(n은 2 이상의 정수)개의 임의의 정점(V)을 설정한다(S400).

도 5는 제1 실시형태의 2D 3D 변환 처리를 설명하기 위한 샘플링 좌표 공간(CS)의 개략도이다. 도 5는 좌표((x, y)=(2, 4))에 정점(V1(2, 4))이 설정되고, 좌표((x, y)=(4, 4))에 정점(V2(4, 4))이 설정되는 것을 나타내고 있다. 샘플링 분해능은, 정해진 고정값이어도 좋고, 샘플링 분해능을 나타내는 정해진 정보를 이용하여 산출되어도 좋다. 예컨대, 정점(V)은, 2D 화상을 3D 화상으로 변환하였을 때에, 3D 화상에서 전방에 위치하여야 할 것으로 추정되는 전방 영역 또는 3D 화상에서 후방에 위치하여야 할 것으로 추정되는 후방 영역에 포함되는 샘플링 좌표 공간(CS)의 좌표로 설정된다. 예컨대, 정점(V1)은 우안용의 시차 화상을 생성하기 위한 점이며, 정점(V2)은 좌안용의 시차 화상을 생성하기 위한 점이다. n은 생성하여야 할 시차 화상의 수를 나타내고 있으며, 생성하여야 할 시차 화상의 수를 나타내는 정해진 정보에 의해 결정된다.

일례로서, 정점 설정부(12)는, 제1 화상 데이터(IMG)로부터 2D 화상의 깊이를 추정하고, 추정 결과를 맵핑하여 깊이 맵을 생성한다. 그리고, 정점 설정부(12)는, 생성한 깊이 맵을 참조하여 특정한 전방 영역에 포함되는 임의의 점에 정점(V)을 설정한다. 대체예로서, 정점 설정부(12)는, 화상의 특성을 해석하고, 해석 결과에 기초하여 화상의 장면(예컨대, 스포츠 장면 또는 풍경 장면)을 판정하고, 판정 결과에 기초하여 특정한 전방 영역에 포함되는 임의의 점에 정점(V)을 설정하여도 좋다. 다른 대체예로서, 정점 설정부(12)는, 정점(V)의 좌표를 나타내는 정해진 정보에 기초하여 정점(V)을 설정하여도 좋다.

<S402> 샘플링점 설정부(14)는, 샘플링 좌표 공간의 임의의 좌표에 대상점(O)을 설정하고, 화상 데이터(IMG)의 화소 성분에 기초하여 대상점(O)에 대응하는 샘플링점(S)을 설정하는 샘플링점 설정 처리를 실행한다(S402). 도 6은 제1 실시형태의 샘플링점 설정 처리의 흐름도이다. 도 7의 (A)?도 7의 (C)는 제1 실시형태의 샘플링 설정을 설명하는 도면이다.

<S600> 도 7의 (A)에 나타내는 바와 같이, 샘플링점 설정부(14)는, 정점 설정부(12)에 의해 생성된 샘플링 좌표 공간(CS)의 임의의 좌표(xo, yo)에 대상점(O(xo, yo))을 설정한다. 대상점(O(xo, yo))은, 샘플링점(S)의 기준이 되는 샘플링 좌표 공간(CS)의 점이다.

<S602> 샘플링점 설정부(14)는, 정점(V)의 화소 성분과 대상점(O)의 화소 성분에 기초하여 대상점(O)에 대응하는 샘플링점(S)을 설정한다. 예컨대, 샘플링점 설정부(14)는, 화소 성분으로서, 좌표 및 화소값 중 적어도 하나를 이용한다.

화소 성분으로서 좌표를 이용하는 경우에, 샘플링점 설정부(14)는, 식 1을 이용하여, 정점(V(xv, yv))과 대상점(O(xo, yo))과의 거리(d)를 산출한다. 식 1에 있어서, dx는 샘플링 좌표 공간(CS)의 X 방향에 있어서의 대상점(O)과 정점(V)과의 거리이며, dy는 샘플링 좌표 공간(CS)의 Y 방향에 있어서의 대상점(O)과 정점(V)과의 거리이다.

…(식 1)

계속해서, 도 7의 (B) 및 도 7의 (C)에 나타내는 바와 같이, 샘플링점 설정부(14)는, 식 2를 이용하여, 산출한 거리(d)에 기초하여, 샘플링점(S)을 설정하는 샘플링 좌표(xs, ys)를 산출한다. 그리고, 샘플링점 설정부(14)는, 산출한 샘플링 좌표(xs, ys) 상에 샘플링점(S(xs, ys))을 설정한다. 식 2에 있어서, f(d) 및 g(d)는 정점(V)과 대상점(O)과의 거리(d)의 변환 함수이다. f(d) 및 g(d)는, 예컨대 플러스의 증가 함수, 플러스의 감소 함수, 또는 정수이다. 샘플링 좌표 공간(CS)에 있어서, 거리(d)가 작을수록 정점(V)과 샘플링점(S)과의 거리가 작아지도록, 거리(d)가 클수록 정점(V)과 샘플링점(S)과의 거리가 커지도록, 샘플링점(S)이 설정된다(도 7의 (B) 및 도 7의 (C)). 그 결과, 정점(V)의 주변 영역에서는 화소 밀도가 높아지고, 정점(V)으로부터 먼 영역에서는 화소 밀도가 낮아지는 것과 같은 시차 화상이 생성되도록, 샘플링점(S)이 설정된다.

…(식 2)

화소 성분으로서 화소값(예컨대, 휘도 성분(Y))을 이용하는 경우에는, 샘플링점 설정부(14)는, 식 3을 이용하여, 대상점(O(xo, yo))의 휘도 성분(Yo)에 기초하여, 샘플링 좌표(xs, ys)를 산출한다. 그리고, 샘플링점 설정부(14)는, 산출한 샘플링 좌표(xs, ys) 상에 샘플링점(S(xs, ys))을 설정한다. 식 3에 있어서, h(Yo) 및 i(Yo)는 대상점(O)으로부터 휘도 성분(Yo)으로의 변환 함수이다. h(Yo) 및 i(Yo)는, 예컨대 플러스의 증가 함수, 플러스의 감소 함수, 또는 정수이다. 샘플링 좌표 공간(CS)에 있어서, 휘도 성분(Yo)이 작을수록 정점(V)과 샘플링점(S)과의 거리가 작아지도록, 휘도 성분(Yo)이 클수록 정점(V)과 샘플링점(S)과의 거리가 커지도록, 샘플링점(S)이 설정된다. 그 결과, 휘도 성분(Yo)이 작은 영역에서는 화소 밀도가 높아지고, 휘도 성분(Yo)이 큰 영역에서는 화소 밀도가 낮아지는 것과 같은 시차 화상이 생성되도록, 샘플링점(S)이 설정된다.

…(식 3)

또한, 화소 성분으로서 이용되는 화소값은, 휘도 성분(Y)에 한정되지 않는다. 제1 차분 성분(U), 제2 차분 성분(V), 적색 성분(R), 녹색 성분(G), 또는 청색 성분(B)이 화소 성분으로서 이용되어도 좋고, 그 외의 화소 성분이 이용되어도 좋다. 어떤 경우라도, 샘플링 좌표 공간(CS)에 있어서, 화소 성분이 작을수록 정점(V)과 샘플링점(S)과의 거리가 작아지도록, 화소 성분이 클수록 정점(V)과 샘플링점(S)과의 거리가 커지도록, 샘플링점(S)이 설정된다. 바꾸어 말하면, 샘플링점(S)은, 화소 성분이 작을수록 정점(V)에 대하여 성기게 되고, 화소 성분이 클수록 정점(V)에 대하여 조밀하게 되도록, 배치된다.

<S604> 샘플링점 설정부(14)는, k(k는 2 이상의 정수)개의 샘플링점(S)이 설정되었는지의 여부를 판정한다. k의 값은, 3D 화상의 해상도에 따라 결정된다. 예컨대, k의 값은, 3D 화상의 해상도를 나타내는 해상도 설정 정보에 의해 산출된다. 설정된 샘플링점의 수가 k에 도달하고 있지 않은 경우에는(S604-NO), S600으로 되돌아간다. 설정된 샘플링점의 수가 k에 도달한 경우에는(S604-YES), 샘플링점 설정 처리를 종료한다.

<S404> 샘플링점 설정부(14)는, 샘플링점 설정 처리(S402)의 실행 횟수가 n에 도달하고 있는지의 여부를 판정한다. 샘플링점 설정 처리의 실행 횟수가 n에 도달하고 있지 않은 경우에는(S404-NO), S402로 되돌아간다. 샘플링점 설정 처리의 실행 횟수가 n에 도달한 경우에는(S404-YES), S406으로 진행한다.

<S406> 시차 화상 생성부(16)는, 설정된 샘플링점의 샘플링 좌표에 배치하여야 할 제2 화소(P')의 화소값을 산출한다. 그리고, 시차 화상 생성부(16)는, 복수의 제2 화소(P')를 포함하는 제2 화상 데이터(IMG')를 적어도 2개 생성하는 시차 화상 생성 처리를 실행한다. 도 8은 제2 화상 데이터(IMG')의 구조를 나타내는 도면이다. 제2 화상 데이터(IMG')는, W축 및 H축의 제2 좌표 공간에, W 방향 및 H 방향으로 배열된 Wm'×Hm'(Wm' 및 Hm'는 자연수)개의 제2 화소(PX')를 포함하는 데이터이다. 제2 화소(PX'(w', h'))는, 좌표(w', h')에 위치하는 화소이다. 각 제2 화소(PX')는, 예컨대 YUV 포맷으로 정의되는 화소값(휘도 성분(Y'), 제1 차분 성분(U'), 및 제2 차분 성분(V'))을 포함한다. 휘도 성분(Y'(w', h'))은, 제2 화소(PX'(w', h'))의 휘도를 나타내는 화소값이다. 제1 차분 성분(U'(w', h'))은, 제2 화소(PX'(w', h'))의 청색 성분의 차분을 나타내는 화소값이다. 제2 차분 성분(V'(w', h'))은, 제2 화소(PX'(w', h'))의 적색 성분의 차분을 나타내는 화소값이다. 도 9는 제1 실시형태의 시차 화상 생성 처리의 흐름도이다.

<S900> 시차 화상 생성부(16)는, 해상도 설정 정보에 기초하여, 제2 화상 데이터(IMG')의 제2 좌표 공간을 생성한다. 도 8에 나타내는 바와 같이, 제2 좌표 공간은, Wm'×Hm'(=k)개의 좌표를 갖는다. 제2 좌표 공간의 사이즈는, 샘플링점 설정부(14)에 의해 설정된 샘플링점(S)의 수에 따라 결정된다. 예컨대, 해상도 설정 정보가 등배(等倍)를 나타내는(즉, 2D 화상과 동일한 해상도의 3D 화상을 생성하는) 경우에는, 시차 화상 생성부(16)는, 제1 좌표 공간과 동일한 사이즈의 제2 좌표 공간을 생성한다. 이 경우에는, Wm'=Wm 또한 Hm'=Hm이다. 예컨대, 해상도 설정 정보가 2배를 나타내는(즉, 2D 화상의 2배의 해상도의 3D 화상을 생성하는) 경우에는, 시차 화상 생성부(16)는, 제1 좌표 공간의 2배의 사이즈의 제2 좌표 공간을 생성한다. 이 경우에는, Wm'=2Wm 또한 Hm'=2Hm이다.

<S902 및 S904> 시차 화상 생성부(16)는, k개의 샘플링점의 각각에 대응하는 샘플링 좌표를 제2 좌표 공간에 설정한다(S902). 계속해서, 시차 화상 생성부(16)는, k개의 샘플링 좌표에 배치하여야 할 제2 화소(PX')의 화소값(Y', U', V')을 산출한다(S904). 즉, 시차 화상 생성부(16)는, 샘플링 좌표의 주위에 위치하는 복수의 제1 화상 데이터(IMG)의 화소값으로부터 제2 화소의 화소값을 산출한다. 도 10의 (A) 및 도 10의 (B)는 제1 실시형태의 제2 화소의 화소값 산출의 일례를 나타내는 도면이다. 도 10의 (A)에 나타내는 바와 같이, 시차 화상 생성부(16)는, 샘플링 좌표(2.5, 2.5)의 주변에 위치하는 제1 화상 데이터(IMG)의 4화소(PX(2, 2)?PX(3, 3))의 화소값의 평균값을, 제2 화소(PX'(2.5, 2.5))의 화소값으로서 산출한다. 또는, 도 10의 (B)에 나타내는 바와 같이, 시차 화상 생성부(16)는, 샘플링 좌표(2.5, 2.5)의 주변에 위치하는 제1 화상 데이터(IMG)의 16화소(PX(1, 1)?PX(4, 4))의 화소값을 가중 가산하고, 가중 가산의 결과를 제2 화소(PX'(2.5, 2.5))의 화소값으로서 산출하여도 좋다.

<S906> 시차 화상 생성부(16)는, k개의 제2 화소(PX')의 화소값이 산출되었는지의 여부를 판정한다. k개의 제2 화소(PX')의 화소값이 산출되어 있지 않은 경우에는(S906-NO), S904로 되돌아간다. k개의 제2 화소(PX')의 화소값이 산출되어 있는 경우에는(S906-YES), 시차 화상 생성 처리를 종료한다.

<S408> 시차 화상 생성부(16)는, 시차 화상 생성 처리(S406)의 실행 횟수가 n에 도달하고 있는지의 여부를 판정한다. 시차 화상 생성 처리(S406)의 실행 횟수가 n에 도달하고 있지 않은 경우에는(S408-NO), S406으로 되돌아간다. 시차 화상 생성 처리(S406)의 실행 횟수가 n에 도달한 경우에는(S408-YES), 2D 3D 변환 처리가 종료한다.

제1 실시형태에 따르면, 화상 처리 장치(10a)는, 정점 설정부(12)와, 샘플링점 설정부(14)와, 시차 화상 생성부(16)를 구비한다. 정점 설정부(12)는, 복수의 제1 화소를 포함하는 제1 화상 데이터로부터, 정해진 샘플링 분해능에 의해 결정되는 샘플링 좌표 공간을 생성하고, 생성한 샘플링 좌표 공간에 복수의 임의의 정점을 설정한다. 샘플링점 설정부(14)는, 샘플링 좌표 공간의 임의의 좌표에 대상점을 설정하고, 정점과 대상점과의 거리에 기초하여 샘플링 좌표를 산출하며, 산출한 샘플링 좌표에 대상점에 대응하는 샘플링점을 설정한다. 시차 화상 생성부(16)는, 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하여, 복수의 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성한다. 그 결과, 적은 처리량으로 깊이가 있는 시차 화상을 표현하는 화상 데이터가 생성된다. 이에 따라, 시차 화상에 기초하여 재생되는 3D 화상의 품질을 열화시키는 일없이, 처리량이 작은 2D 3D 변환이 가능하게 된다. 예컨대, 배경이 안쪽에 배치되고, 물체가 앞쪽에 배치된 화상에 대해서는, 배경과 물체의 전체에 깊이가 있는 시차 화상을 얻을 수 있다.

(제2 실시형태)

제2 실시형태에 대해서 설명한다. 제2 실시형태는, 2D 화상의 화소값에 기초하여 화상의 깊이 정보를 생성하고, 생성한 깊이 정보에 기초하여 샘플링점의 위치를 보정하는 예이다. 또한, 전술한 실시형태와 동일한 설명은 생략한다.

제2 실시형태의 화상 처리 장치의 구성에 대해서 설명한다. 도 11은 제2 실시형태의 화상 처리 장치(10a)의 블록도이다. 화상 처리 장치(10a)는, 정점 설정부(12)와, 깊이 정보 생성부(13)와, 샘플링점 설정부(14)와, 샘플링점 보정부(15)와, 시차 화상 생성부(16)를 구비한다.

제2 실시형태의 화상 처리 장치의 동작에 대해서 설명한다. 도 12는 제2 실시형태의 2D 3D 변환 처리의 흐름도이다. 2D 3D 변환 처리는, 화상 처리 장치(10a)로서 동작하는 프로세서(10)에 의해 실행된다.

<S1200 및 S1201> S1200은, 제1 실시형태의 정점 설정(S400)과 동일한 처리를 행한다. 계속해서, 깊이 정보 생성부(13)는, 제1 화소(PX)의 화소값의 휘도 성분(Y)에 기초하여, 깊이 정보를 생성하는 깊이 정보 생성 처리를 실행한다(S1201). 깊이 정보는, 제1 화상 데이터(IMG)의 깊이를 나타내는 정보이다. 도 13은 제2 실시형태의 깊이 정보 생성 처리의 흐름도이다. 도 14 및 도 15는 제2 실시형태의 깊이 생성 처리를 설명하는 도면이다.

<S1300> 깊이 정보 생성부(13)는, 제1 화상 데이터(IMG)의 Wm×Hm개의 제1 화소(PX(w, h))의 제1 휘도 성분(Y(w, h))을 추출한다. 그리고, 깊이 정보 생성부(13)는, 추출한 Wm×Hm개의 제1 휘도 성분(Y(w, h))을 포함하는 제1 휘도 분포(도 14의 (A))를 생성한다. 제1 휘도 분포는, 제1 좌표 공간에 대응한다.

<S1302> 깊이 정보 생성부(13)는, 제1 휘도 분포를 축소하여, Wr×Hr(Wr 및 Hr은 자연수)개의 제2 휘도 성분(Yr(wr, hr))을 포함하는 제2 휘도 분포(도 14의 (B))를 생성한다(S1302). 예컨대, 깊이 정보 생성부(13)는, 바이 리니어법, 바이 큐빅법, 또는 평균 가산법을 이용하여, 제1 휘도 성분(Y(w, h))으부터 산출한 제2 휘도 성분(Yr(wr, hr))에 대하여 M×N(M 및 N은 자연수) 탭 필터를 적용하여 제2 휘도 분포의 주파수를 평활화한다.

<S1304> 깊이 정보 생성부(13)는, 제2 휘도 성분(Yr(wr, hr))을 정해진 깊이값(Dr(wr, hr))으로 변환한다. 이에 따라, Wr×Hr개의 제1 깊이 성분(Dr(wr, hr))을 포함하는 제1 깊이 정보(도 15의 (A))가 생성된다.

<S1306> 깊이 정보 생성부(13)는, 깊이 정보의 계조를 나타내는 계조 설정 정보와 제1 깊이 성분(Dr)의 계조를 비교한다. 계조 설정 정보가 나타내는 계조와 제1 깊이 성분(Dr(wr, hr))의 계조가 같은 경우(S1306-YES)에는, 계조를 변경하지 않고, S1310으로 진행한다. 계조 설정 정보가 나타내는 계조와 제1 깊이 성분(Dr(wr, hr))의 계조가 다른 경우(S1306-NO)에는, 계조를 변경하기 위해, S1308로 진행한다.

<S1308> 깊이 정보 생성부(13)는, 제1 깊이 정보의 막대 그래프를 정형(신장, 수축, 또는 최적화)하여, 제1 깊이 성분(Dr(wr, hr))의 계조를 변경한다(S1308). 이에 따라, 원하는 계조로 나타내는 깊이 정보를 얻을 수 있다.

<S1310> 깊이 정보 생성부(13)는, 제1 깊이 정보를 선형 확대하여, Wm×Hm의 제2 깊이 성분(D(w, h))을 포함하는 제2 깊이 정보(도 15의 (B))를 생성한다. 이에 따라, 제1 화상 데이터(IMG)와 동일한 해상도의 좌표 공간을 갖는 깊이 정보를 얻을 수 있다. 해당 깊이 정보는, 2D 화상의 깊이를 나타내는 정보이다.

<S1202 및 S1204> S1202 및 S1204는, 제1 실시형태와 동일하다. 즉, 샘플링점 설정부(14)는, 화상 데이터(IMG)의 화소 성분에 기초하여 샘플링점(S)을 설정하는 샘플링점 설정 처리를 실행한다(S1202). 샘플링점 설정 처리의 실행 횟수가 n에 도달하고 있지 않은 경우에는(S1204-NO), S1202로 되돌아간다. 샘플링점 설정 처리(S1204)의 실행 횟수가 n에 도달한 경우에는(S1204-YES), S1205로 진행한다.

<S1205> 샘플링점 보정부(15)는, 생성된 제2 깊이 정보에 기초하여, 샘플링점(S)의 샘플링 좌표를 보정한다. 이에 따라, 2D 화상의 깊이를 고려한 샘플링점(S)을 얻을 수 있다. 구체적으로는, 샘플링점 보정부(15)는, 정점(V(xv, yv))으로부터 멀어지도록, 샘플링점(S)의 보정량(ΔS)을 결정한다. 보정량(ΔS)은, X 방향의 보정량(ΔSx) 및 Y 방향의 보정량(ΔSy)을 포함한다. 보정량(ΔSx 및 ΔSy)은, 샘플링점(S(xs, ys))을 설정할 때의 대상점(O(xo, yo))에 대응하는 제1 화소(P(w, h))의 제2 깊이 성분(D(w, h))에 기초하여 결정된다. 예컨대, 도 16의 (A) 및 (B)에 나타내는 바와 같이, 깊이 정보에 따라 결정되는 보정량(ΔSx 및 ΔSy)의 분량만큼 샘플링점(S)이 보정된다. 그 결과, 샘플링 좌표가, S(xs, ys)에서 S'(xs', ys')로 변한다.

<S1206 및 S1208> 시차 화상 생성 처리(S1206)는, 제1 실시형태와 동일하게 행해진다. 시차 화상 생성 처리는, 실행 횟수가 n에 도달할 때까지 반복 실행된다(S1208-NO). 시차 화상 생성 처리의 실행 횟수가 n에 도달한 경우에는(S1208-YES), 2D 3D 변환 처리를 종료한다.

제2 실시형태에 따르면, 화상 처리 장치(10a)는, 깊이 정보 생성부(13)와, 샘플링점 보정부(15)를 더 구비한다. 깊이 정보 생성부(13)는, 제1 화소의 화소값의 제1 휘도 성분에 기초하여, 제1 화상 데이터에 의해 표현되는 제1 화상의 깊이를 나타내는 깊이 정보를 생성한다. 샘플링점 보정부(15)는, 깊이 정보에 기초하여, 샘플링 좌표를 보정한다. 그 결과, 화소 단위로 깊이가 있는 시차 화상을 표현하는 화상 데이터가 생성된다. 이에 따라, 제1 실시형태에 비해서, 2D 화상의 깊이가 보다 정확하게 재현된 고화질의 3D 화상을 얻을 수 있다. 예컨대, 배경이 안쪽에 배치되고, 물체가 앞쪽에 배치된 화상에 관해서는, 배경이 보다 안쪽에 배치되고, 물체가 보다 앞쪽에 배치된 시차 화상을 얻을 수 있다.

화소 성분으로서 휘도 성분(Y) 이외의 값을 이용하는 경우에는, 샘플링점 설정부(14)는, 식 4와 같이, 필터(FIL)와, 계조 범위에 따른 상수(C)를 이용하여, 제1 화소(PX)의 휘도 성분(Y)을 제2 화소(PX')의 휘도 성분(Y')으로 변환한다. 필터(FIL)는, 예컨대, 3×3 필터(식 5를 참조)이다. 정수(C)는, 256 계조의 경우에는 예컨대 128이다. 이 경우, 제2 화소(PX')의 휘도 성분(Y')은, 휘도 구배 성분이다. 그리고, 샘플링점 설정부(14)는, 제2 화소(PX')의 휘도 성분(Y')에 기초하여, 화소 성분으로서 휘도 성분(Y)을 이용하는 경우와 마찬가지로, 샘플링점을 설정한다.

…(식 4)

…(식 5)

또한, 제2 화소(PX')의 휘도 성분(Y')은, 제1 화소(PX)의 휘도 성분(Y)에, 복수의 필터(FIL0?FIL2)와, 복수의 웨이트(a?c)를 곱한 것의 합계값이어도 좋다. 이 경우에, 휘도 성분(Y')을, 식 6에 의해 나타낸다. 또한, 필터(FIL0?FIL2)의 값은, 서로, 같아도 좋고, 상이하여도 좋다. 또한, 계수(a?c)의 값은, 서로, 같아도 좋고, 상이하여도 좋다.

…(식 6)

또한, 식 6에서는, 3개의 필터(FIL0?FIL2)를 이용하여 휘도 성분(Y')을 계산하는 예에 대해서 설명하였지만, 휘도 성분(Y')의 계산에 이용되는 필터의 수 및 필터의 값은 임의적이다. 또한, 계수(a, b, c)에 따라, 복수의 필터(FIL)의 각각을 가중하여도 좋다.

또한, 우안용의 복수의 필터(FIL0r?FIL2r)와, 우안용의 웨이트(ar?cr)와, 우안용의 정수(Cr)를 이용하여, 우안용의 휘도 성분(Yr')을 계산하고(식 7을 참조), 좌안용의 복수의 필터(FIL0l?FIL2l)와, 좌안용의 웨이트(al?cl)와, 좌안용의 정수(Cl)를 이용하여, 좌안용의 휘도 성분(Yl')을 계산하여도 좋다(식 8을 참조).

…(식 7)

…(식 8)

또한, (식 4) 및 (식 6)?(식 8)에서 이용되는 휘도 성분(Y)은, 주목 화소를 중심으로 하는 주변 화소의 휘도 성분을 포함하여도 좋다. 예컨대, 3×3 탭 필터 처리의 경우, 주목 화소를 중심으로 하여, 주변 화소를 포함하는 9 화소의 휘도 성분(Y)이, (식 4) 및 (식 6)?(식 8)에서 이용된다. 또한, 주목 화소가 제1 화상 데이터(IMG)의 단부에 위치하기 때문에 주변 화소가 존재하지 않는 경우에는, 주목 화소의 휘도 성분을 임의의 보간 계수를 이용하여 보간하여도 좋다.

본 실시형태에 따른 화상 처리 장치(10a)의 적어도 일부는, 하드웨어로 구성하여도 좋고, 소프트웨어로 구성하여도 좋다. 소프트웨어로 구성하는 경우에는, 화상 처리 장치(10a)의 적어도 일부의 기능을 실현하는 프로그램을 플렉시블 디스크나 CD-ROM 등의 기록 매체에 저장하고, 컴퓨터로 판독하여 실행시켜도 좋다. 기록 매체는, 자기 디스크나 광 디스크 등의 착탈 가능한 것에 한정되지 않고, 하드디스크 장치나 메모리 등의 고정형의 기록 매체여도 좋다.

또한, 본 실시형태에 따른 화상 처리 장치(10a)의 적어도 일부의 기능을 실현하는 프로그램을, 인터넷 등의 통신 회선(무선 통신도 포함함)을 통해 반포하여도 좋다. 또한, 동일한 프로그램을 암호화하거나, 변조를 걸거나, 압축한 상태로, 인터넷 등의 유선 회선이나 무선 회선을 통해, 또는 기록 매체에 저장하여 반포하여도 좋다.

또한, 본 발명은 전술한 실시형태에 한정되지 않으며, 그 요지를 일탈하지 않는 범위에서 구성 요소를 변형하여 구체화된다. 또한, 전술한 실시형태에 개시되어 있는 복수의 구성 요소의 적절한 조합에 의해, 여러가지 발명이 형성될 수 있다. 예컨대, 전술한 실시형태에 나타내는 전체 구성 요소로부터 몇가지의 구성 요소를 삭제하여도 좋다. 더욱, 다른 실시형태에 걸친 구성 요소를 적절하게 조합하여도 좋다.

Claims (20)

1. 제1 화소를 포함하는 제1 화상 데이터로부터 생성한 샘플링 좌표 공간에 정점을 설정하는 정점 설정부와,
   상기 샘플링 좌표 공간에 대상점을 설정하고, 상기 대상점의 화소 성분에 기초하여 산출한 샘플링 좌표에 상기 대상점에 대응하는 샘플링점을 설정하는 샘플링점 설정부와,
   상기 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하여, 상기 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성하는 시차 화상 생성부
   를 구비하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에 있어서, 상기 샘플링점 설정부는, 상기 정점과 상기 대상점과의 거리에 기초하여 상기 샘플링 좌표를 산출하는 것인 화상 처리 장치.
3. 제1항에 있어서, 상기 샘플링점 설정부는, 상기 대상점의 화소값에 기초하여 상기 샘플링 좌표를 산출하는 것인 화상 처리 장치.
4. 제3항에 있어서, 상기 샘플링점 설정부는, 상기 대상점의 화소값에 포함되는 휘도 성분에 기초하여 상기 샘플링 좌표를 산출하는 것인 화상 처리 장치.
5. 제3항에 있어서, 상기 샘플링점 설정부는, 상기 대상점의 화소값에 포함되는 휘도 성분에 대하여 필터 처리를 행하여 휘도 구배 성분을 생성하고, 상기 휘도 구배 성분에 기초하여 상기 샘플링 좌표를 산출하는 것인 화상 처리 장치.
6. 제1항에 있어서, 상기 제1 화소의 화소값에 기초하여, 상기 제1 화상 데이터에 의해 표현되는 제1 화상의 깊이를 나타내는 깊이 정보를 생성하는 깊이 정보 생성부와,
   상기 깊이 정보에 기초하여, 상기 샘플링 좌표를 보정하는 샘플링점 보정부
   를 더 구비하는 화상 처리 장치.
7. 제6항에 있어서, 상기 깊이 정보 생성부는, 상기 제1 화상의 깊이를 나타내는 제1 깊이 정보를 생성하며, 상기 제1 깊이 정보를 선형 확대하여 제2 깊이 정보를 생성하고,
   상기 샘플링점 보정부는, 상기 제2 깊이 정보에 기초하여, 상기 샘플링 좌표를 보정하는 것인 화상 처리 장치.
8. 제7항에 있어서, 상기 샘플링점 보정부는, 상기 제2 깊이 정보 내의 상기 대상점에 대응하는 제2 깊이 성분에 기초하여 결정되는 보정량의 분량만큼, 상기 샘플링 좌표를 보정하는 것인 화상 처리 장치.
9. 제1 화소를 포함하는 제1 화상 데이터로부터 샘플링 좌표 공간을 생성하고,
   상기 샘플링 좌표 공간에 정점 및 대상점을 설정하며, 상기 대상점의 화소 성분에 기초하여 샘플링 좌표를 산출하고,
   상기 샘플링 좌표에 상기 대상점에 대응하는 샘플링점을 설정하며,
   상기 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하고,
   상기 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 화상 처리 방법.
10. 제9항에 있어서, 상기 샘플링점을 설정할 때에, 상기 정점과 상기 대상점과의 거리에 기초하여 상기 샘플링 좌표를 산출하는 화상 처리 방법.
11. 제9항에 있어서, 상기 샘플링점을 설정할 때에, 상기 대상점의 화소값에 기초하여 상기 샘플링 좌표를 산출하는 화상 처리 방법.
12. 제11항에 있어서, 상기 샘플링점을 설정할 때에, 상기 대상점의 화소값에 포함되는 휘도 성분에 기초하여 상기 샘플링 좌표를 산출하는 화상 처리 방법.
13. 제11항에 있어서, 상기 샘플링점을 설정할 때에,
    상기 대상점의 화소값에 포함되는 휘도 성분에 대하여 필터 처리를 행하여 휘도 구배 성분을 생성하고,
    상기 휘도 구배 성분에 기초하여 상기 샘플링 좌표를 산출하는 화상 처리 방법.
14. 제9항에 있어서, 상기 제1 화소의 화소값에 기초하여, 상기 제1 화상 데이터에 의해 표현되는 제1 화상의 깊이를 나타내는 깊이 정보를 추가로 생성하고,
    상기 깊이 정보에 기초하여, 상기 샘플링 좌표를 보정하는 화상 처리 방법.
15. 제14항에 있어서, 상기 깊이 정보를 생성할 때에,
    상기 제1 화상 데이터에 의해 표현되는 제1 화상의 깊이를 나타내는 제1 깊이 정보를 생성하고,
    상기 제1 깊이 정보를 선형 확대하여 제2 깊이 정보를 생성하며,
    상기 샘플링점을 보정할 때에, 상기 제2 깊이 정보에 기초하여, 상기 샘플링 좌표를 보정하는 화상 처리 방법.
16. 제15항에 있어서, 상기 샘플링점을 보정할 때에, 상기 제2 깊이 정보 내의 상기 대상점에 대응하는 제2 깊이 성분에 기초하여 결정되는 보정량의 분량만큼, 상기 샘플링 좌표를 보정하는 화상 처리 방법.
17. 복수의 제1 화소를 포함하는 제1 화상 데이터로부터 샘플링 좌표 공간을 생성하고,
    상기 샘플링 좌표 공간에 정점 및 대상점을 설정하며,
    상기 대상점의 화소 성분에 기초하여 샘플링 좌표를 산출하고,
    상기 샘플링 좌표에 상기 대상점에 대응하는 샘플링점을 설정하며,
    상기 샘플링 좌표에 배치하여야 할 제2 화소의 화소값을 산출하고,
    상기 제2 화소를 포함하는 제2 화상 데이터를 복수개 생성하는 처리를 컴퓨터에 실행시키는 컴퓨터 프로그램을 저장한 컴퓨터 판독가능한 기억 매체.
18. 제17항에 있어서, 상기 샘플링점을 설정할 때에, 상기 정점과 상기 대상점과의 거리에 기초하여 상기 샘플링 좌표를 산출하는 컴퓨터 판독가능한 기억 매체.
19. 제18항에 있어서, 상기 샘플링점을 설정할 때에, 상기 대상점의 화소값에 기초하여 상기 샘플링 좌표를 산출하는 컴퓨터 판독가능한 기억 매체.
20. 제19항에 있어서, 상기 샘플링점을 설정할 때에, 상기 대상점의 화소값에 포함되는 휘도 성분에 기초하여 상기 샘플링 좌표를 산출하는 컴퓨터 판독가능한 기억 매체.

Images