KR20130089649A - 3차원 이미지에서 컨텐츠를 검열하는 방법 및 장치 - Google Patents

Abstract

3차원 이미지(three-dimensional image)상에서 컨텐츠를 검열하는 방법은 상기 3차원 이미지상에서 검열될 3차원 객체(object)를 식별하는 단계를 포함하고, 상기 검열될 3차원 객체를 상기 3차원 이미지에서 3차원 대체 컨텐츠(three-dimensional replacing contents)로 대체한다.

Description

3차원 이미지에서 컨텐츠를 검열하는 방법 및 장치{METHOD AND ARRANGEMENT FOR CENSORING CONTENT IN THREE-DIMENSIONAL IMAGES}

본 발명은 이미지 내에 있는 컨텐츠를 검열하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 3차원(three-dimensional, 이후로 축약하여 3D로 표시함) 내의 컨텐츠를 검열하는 방법 및 장치에 관한 것이다.

현재의 시각적 검열(visual censorship) 방법은 2차원(two-dimensional, 이후 축약하여 2D로 표시함)에 기초하여 얼굴과 같은 객체 앞에서 예를 들어, 블러링 필터(blurring filter) 또는 블랙 바(black bar)를 이용한다. 이러한 방법들은 본질적으로 2D 기반이고, 그래서 3D 및 자유-시점(free-viewpoint) 컨텐츠에서 사용하기에 불충분하다. 이는 3D 컨텐츠 및 디스플레이가 객체의 2D 텍스처 및 윤곽(contour)을 디스플레이할 뿐만 아니라, 3D 모양(shape)도 디스플레이할 것이라는 사실로부터 이해될 수 있다. 객체 앞에 블랙 바를 두는 것과 같은 간단한 검열 방법은 객체의 텍스처를 감추지만(mask) 실제 3D 모양은 감추지 못하고 따라서 식별이 여전히 가능하다. 자유-시점 컨텐츠 및 디스플레이 기술과 함께, 문제는 더 커진다. 객체를 블러링 아웃(blurring out)하거나 3D 객체 앞에 블랙 바를 놓는 것은 2D 기반 방법으로, 블러링 층(blurring layer) 또는 블랙 바는 3D 장면에서 2D 객체로 렌더링 될 것이고, 이 경우에 시청자는 자유롭게 주변으로 이동하여 시점을 선택할 수 있다. 이러한 방법으로 시청자는 이 검열 객체 주변을 이동하여 검열된 객체를 다른 시점으로부터 완전히 상세하게 관찰할 수 있다.

따라서, 본 발명의 실시예의 목적은 3차원 객체를 검열하는 방법을 제공한다.

본 발명의 실시예에 따라, 이러한 목적은 3차원 이미지상에서 컨텐츠를 검열하는 방법에 의해 달성되는데, 상기 방법은 상기 3차원 이미지 내에서 검열될 3차원 객체(three-dimensional object)를 식별하는 단계, 및 상기 3차원 이미지 내에서 상기 검열될 3차원 객체를 3차원 대체 컨텐츠(three-dimensional replacing contents)로 대체하는 단계를 포함한다.

이러한 방법으로, 간단하지만 효과적인 방법을 얻을 수 있는데, 이는 선행 기술 방법의 어떤 문제점들도 나타내지 않는다. 그 결과, 예를 들어, 3D 장면에서 사람을 검열하는 것이 가능해질 것인데, 3D 장면의 3D 디스플레이가 여전히 원래의 3D 컨텐츠를 나타내지만, 3D 대체 컨텐츠(3D replacement content)로 대체된 검열된 사람과 함께 나타나는 것이다. 이러한 방법은 2D 디스플레이 상에서 투사될 때도, 검열될 객체들(the to-be-censored objects)에 대한 검열을 여전히 제공하는 추가의 이점을 가진다. 그러므로, 이는 매우 간단하지만 다양한 기술을 제공한다.

제 1 실시예에서, 상기 3차원 대체 컨텐츠(three-dimensional replacing content)는 3차원 대체 객체이다.

이러한 3차원 대체 객체는 고정된 3D 아바타이거나, 3차원 객체들의 미리 결정된 세트로부터 선택된 것일 수 있다.

다시, 이러한 미리 결정된 세트는 아바타 세트 또는 다른 3D 객체를 포함할 수 있는데, 상기 선택은 상기 3차원 대체 객체 및 상기 검열될 3차원 객체 사이의 대응(correspondence)에 기초한다.

3D 이미지가 대응하는 복수의 카메라에 의해 촬영된 두 개 또는 그 이상의 2차원 이미지로부터 생성되는 경우, 상기 검열될 3차원 객체를 식별하는 상기 단계는 상기 복수의 2차원 이미지상에서 대응하는 2차원 객체를 식별하는 단계를 포함하여 상기 검열될 3차원 객체의 3차원 복셀(voxel)의 식별이 가능하도록 한다.

이러한 방법으로, 3D 픽셀(pixels)을 의미하는 3D 복셀은 식별되고, 그 이후 상이한 컨텐츠를 가진 대체 복셀(replacement voxels)로 대체되고, 그렇게 함으로써 상기 대체 복셀로부터 상기 대체 객체를 생성하게 된다. 또한, 이전에 언급된 3D의 이형(variants)에 관하여 언급한 바와 같이, 식별된 3D 객체는 아바타와 같이 다른 형태(morphology) 또는 형식(form)을 가지는 다른 객체로 또한 대체될 수 있다. 이런 경우, 식별된 복셀들보다 더 많이 대체될 수도 있으며 또한, 그것들의 일부만 대체될 수도 있다. 후자의 경우, 예를 들어, 아바타 복셀로 대체되지 않은 식별된 객체의 복셀은 그 객체의 주변과 매칭하는 대체 복셀(replacement volxels)을 통하여 어떻게든 대체되거나, 또는 대체 객체가 대체될 객체의 크기에 맞도록 크기가 스케일(scaled)될 수 있다. 모든 경우에서, 대체 객체는 원래의 객체와 비교하여 상이한 모양을 가질 것이다.

본 발명은 본 방법을 수행하는 장치의 실시예를 또한 개시하고, 뿐만 아니라 데이터-프로세싱 장치상에서 실행될 때 위에서 언급된 방법을 수행하도록 구성된 소프트웨어를 포함하는 컴퓨터 프로그램 제품을 개시한다.

본 청구항에서 사용되는 '결합된(coupled)'이라는 용어는 직접적인 연결에만 한정되는 것으로 해석되어서는 안 된다는 것을 유념해야 한다. 그러므로, '디바이스 B에 결합된 디바이스 A'라는 표현의 범주가 디바이스 A의 출력이 디바이스 B의 입력에 직접적으로 연결되는 디바이스나 시스템으로 제한되어서는 안 된다. 이는 A의 출력 및 B의 입력 사이에 경로(path)가 존재하는데, 이것은 다른 디바이스 또는 수단을 포함하는 경로일 수도 있다는 것을 의미한다.

본 청구항에서 사용되는 '포함하는(comprising)'이라는 용어는 그 이후에 열거되는 수단들에 제한되는 것으로 해석되어서는 안 된다는 것을 유념해야 한다. 그러므로, '수단 A 및 B를 포함하는 디바이스'라는 표현의 범주는 요소 A 및 B만으로 구성된 장치로 제한되어서는 안 된다. 이는, 본 발명에 관하여, 디바이스의 관련 있는 요소들이 A와 B라는 것을 의미할 뿐이다.

첨부된 도면들과 함께 실시예에 관한 다음의 설명을 참조함으로써, 본 발명에 관해 위에서 언급한 목적 및 다른 목적 및 특성들은 더 분명해질 것이고, 또한본 발명 자체가 가장 잘 이해될 것이다.
도 1은 본 방법의 일 실시예에 관한 상위 레벨 개략도를 도시한다.
도 2는 본 방법의 이형(variant)에 관한 보다 상세한 실시예를 도시한다.
도 3은 본 방법에 관한 다른 이형(variant)에 관한 보다 상세한 실시예를 도시한다.
도 4는 본 방법의 또 다른 이형을 도시한다.
도 5(a) 내지 5(b)는 두 사람의 3차원 이미지 표시에 관한 예시를 도시하는 것으로, 본 방법의 실시예들에 따라 두 사람의 얼굴이 검열되는 것을 나타낸다.
발명의 상세한 설명 및 도면은 본 발명의 원리를 단지 예시한다. 당업자는 본 명세서에 명쾌하게 설명되거나 도시되지 않더라도, 본 발명의 원리를 포함하고 본 발명의 사상 및 범주 내에 포함되는 다양한 장치들을 고안할 수 있다는 것을 유념해야 한다. 또한, 본 명세서에서 언급된 모든 예시들은 읽는 사람이 본 발명의 원리 및 더 나아가 기술 분야의 발명자(들)에 의해 기여되는 개념들을 이해하는 것을 돕고자 하는 교수상의(pedagogical) 목적을 위한 것임이 명백히 의도된 것이고, 구체적으로 언급된 예시 및 조건들로 한정하지 않는 것으로 해석되어야 한다. 더욱이, 본 발명에 관한 실시예, 원리, 및 특징뿐만 아니라 그것들의 구체적인 예시들을 언급한 모든 서술들은 그것의 등가물들을 포함하도록 의도된다.
당업자는 본 명세서의 블록 다이어그램들은 본 발명의 원리를 포함하는 예시적인 회로의 개념적인 관점을 나타낸다는 것을 이해해야 한다. 비슷하게, 플로우 차트(flow charts), 플로우 다이어그램(flow diagrams), 상태 천이 다이어그램(state transition diagrams), 의사 코드(pseudo code) 등은 다양한 프로세스들을 나타내는데, 이들은 컴퓨터로 읽을 수 있는 기록 매체(computer readable medium)에서 실질적으로 표시될 수 있고, 컴퓨터 또는 프로세서가 명쾌하게 도시되는 것에 상관없이, 컴퓨터 또는 프로세서에 의해 실행된다는 것을 유념해야 한다.

도 1은 본 방법의 일 실시예에 관한 상위 레벨의 개략적인 형식(scheme)을 도시한다. 3D 스크린상에서 디스플레이되는 3D 이미지로서 그 일부의 컨텐츠가 검열되는 3D 이미지는 컨텐츠를 식별하기 위해 우선 검색(search)을 거친다. 그러한 컨텐츠는 예를 들어, 인간(human being)일 수도 있고, 아니면 다른 정보, 예를 들어, 비밀로 유지되기를 원하는 일기의 개인 신상 명세(personal details in a diary), 또는 비밀로 유지되기를 원하는 아직 미공개의 자료들일 수 있다.

그러한 식별 기술(identification techniques)은 예를 들어, 인식 기술(recognition techniques)의 수단에 의해 자동으로 실시되거나, 수동으로(manually) 실시될 수 있다. 일단 검열될 객체(object)가 3D 이미지상에서 식별되면, 그것은 3D 이미지상에서 3D 대체 객체(replacement object)로 대체될 것이다. 예를 들어, 인간인 경우, 3D 대체 객체는 3D 아바타 일 수 있다. 하지만, 검열될 3D 객체를 구성하는 3D 복셀들(voxels)이 완전히 상이한 컨텐츠를 가진 다른 복셀들로 대체될 수 있다. 예시로서, 검열될 3D 객체를 구성하는 모든 3D 복셀들은 검은색 또는 다른 색을 가지는 복셀들로 대체될 수 있다. 이러한 모든 3D 대체 복셀들은 3D 대체 객체를 구성한다. 일부 실시예에서, 3D 메쉬들(meshes)이 3D 객체를 표시하는데 사용되는 경우, 3D 메쉬들이 또한 대체될 수 있다.

대체 객체는 미리 결정된 아바타이거나, 미리 결정된 객체의 그룹으로부터 선택될 수 있는데, 선택은 매칭 기술(matching techniques)의 수단에 의해 결정된다. 예를 들어, 인간 및 책 모두가 3D 이미지상에서 검열되는 경우, 인간에 대한 대체 객체는, 검열될 책에 관한 대체 객체와 비교하여, 다른 그룹으로부터 선택되어야 한다. 그리고 대체 객체의 그룹은 특정 크기의 다수의 미리 결정된 객체를 포함할 수 있으나, 다른 실시예에서는, 크기 및 형태(morphology)가 대체될 객체의 형태 및 크기에 맞도록 적응될 수 있다. 앞에서 언급된 복셀 대체에 관한 예시에서, 거의 완벽한 매칭이 얻어진다.

이러한 기술은 또한 2D 입체 카메라(2D stereoscopic cameras)로 촬영된 동일한 장면으로부터의 2D 이미지에서 시작하여 수행될 수 있다. 이러한 2D 이미지들은 3D 이미지를 생성하도록 결합되는데, 이 3D 이미지의 3D 객체가 검열될 것이다. 하지만, 이러한 경우, 검열될 객체를 결정하는 객체 인식 기술이, 자동이든지 수동이든지, 2D 이미지상에서 수행될 수 있다. 일단 2D에서 검열될 객체가 결정되면, 잘 알려진 바와 같이, 대응하는 이미지상의 픽셀이 존재하고, 알려진 기술에 의해 그 픽셀들이 3D 복셀들을 생성하는데 사용될 수 있다. 그러한 3D 복셀들이 검열될 3D 객체를 구성하고, 3D 복셀들은 상이한 컨텐츠를 가진 복셀들로 대체될 수 있고 또는, 완전한 그룹이 3D 아바타 또는 다른 최적의 매칭 3D 객체로 대체될 수 있다.

이러한 경우들에 있어서, 원래의 객체보다 3D 아바타가 상이한 형상/형태(form/morphology)를 가지기 때문에, 식별된 3D 복셀들보다 많은 수의 복셀들이 대체될 것이다. 3D 공간에서의 더 많은 복셀들을 차지하는 큰 아바타에 대해서는 식별된 3D 객체의 복셀들이 대체될 뿐만 아니라, 일부 주변 복셀들도 대체된다. 또한, 아바타가 대체될 3D 객체와 비교하여 더 작은 경우에는, 아바타는 대체될 원래의 객체 크기와 매칭하도록 크기가 리사이즈(resized)되거나 스케일(scaled)될 수 있다. 그리고, 아바타를 둘러싸는 일부 복셀들 및 원래의 3D 이미지의 일부가 또한, 예를 들어, 이웃하는 사람, 객체, 주변 풍경(surrounding landscape) 등의 연장(extension)을 통해 대체될 필요가 있다.

도 5(a) 내지 5(b)는 본 방법의 일 실시예에 관한 예시를 도시한다. 본 출원을 출원하는 시점에서 우리는 3D 이미지의 2D 표현(representation)으로 제한되기 때문에, 도 5(a) 내지 5(b)는 3D 디스플레이 상에 표시되기 위한 3D 이미지를 나타낸다는 것은 이해해야 할 것이다. 이것은 두 개의 도면에서 도시되는 것처럼, 3차원에서의 3개의 축(axes)에 의해 제안되지만, 3개의 축은 "실제의(real)" 3D 화상(representions) 또는 디스플레이에서는 존재하지 않는다.

그러므로, 도 5(a)는 두 사람의 이미지를 도시하는데, 여기서 두 사람의 머리가 검열될 것이다. 도 5(b)는 검열 작업(cesoring operation)의 결과를 도시하며, 이 경우 두 개의 머리 모두 아바타 머리로 대체된다.

본 발명의 원리가 특정 장치와 연관되어 상위에서 설명되었으나, 이러한 서술은 예시의 방법에 의한 것이며 첨부된 청구항에 정의되는 것과 같은 본 발명의 범주에 관하여 제한하는 것이 아님이 분명히 이해되어야 한다.

Claims (10)

1. 3차원 이미지(three-dimensional image)상의 컨텐츠를 검열(censoring)하는 방법으로서, 상기 3차원 이미지 내에서 검열될 3차원 객체(three-dimensional object)를 식별하는 단계, 및 상기 3차원 이미지 내에서 상기 검열될 3차원 객체를 3차원 대체 컨텐츠(three-dimensional replacing contents)로 대체하는 단계를 포함하는
   방법.
   
2. 제 1 항에 있어서,
   상기 3차원 대체 컨텐츠는 3차원 대체 객체(three-dimensional replacing object)인
   방법.
   
3. 제 2 항에 있어서,
   상기 3차원 대체 객체는 3차원 객체들의 사전 결정된 세트로부터 선택되는
   방법.
   
4. 제 3 항에 있어서,
   상기 선택(selection)은 상기 3차원 대체 객체 및 상기 검열될 3차원 객체 사이의 대응(correspondence)에 기초하는
   방법.
   
5. 제 2 항, 제 3 항 또는 제 4 항 중 어느 한 항에 있어서,
   상기 3차원 대체 객체는 3차원 아바타(three-dimensional avatar)인
   방법.
   
6. 제 1 항에 있어서,
   상기 3차원 이미지는 대응하는 복수의 카메라에 의해 캡쳐된 복수의 2차원 이미지로부터 생성되고, 상기 검열될 3차원 객체를 식별하는 상기 단계는 상기 검열될 3차원 객체의 3차원 복셀(voxel)의 식별이 가능하도록 상기 복수의 2차원 이미지상에서 대응하는 2차원 객체를 식별하는 단계를 포함하는
   방법.
   
7. 제 6 항에 있어서,
   상기 3차원 복셀은 상이한 컨텐츠를 가진 대체 복셀(replacement voxels)로 대체되고, 그렇게 함으로써 상기 대체 복셀로부터 상기 대체 객체를 생성하는
   방법.
   
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
   상기 단계들은 3차원 비디오 시퀀스(three-dimensional video sequence)를 구성하는 연속적인 3차원 이미지상에서 수행되는
   방법.
   
9. 입력으로서 제공된 3차원 이미지의 컨텐츠를 검열하기 위한 장치로서,
   청구항 제 1 항 내지 제 8 항 중 어느 한 항에서 언급된 상기 단계들을 수행하도록 구성된 수단들을 포함하는
   장치.
   
10. 데이터-프로세싱 장치(data-processing apparatus)상에서 실행될 때, 청구항 제 1 항 내지 제 8 항 중 어느 한 항에 따라 상기 단계들을 수행하도록 구성된 소프트웨어를 포함하는
    컴퓨터 프로그램 제품.

Images