KR20030051594A - 물체를 화상으로 표현하고 검색하는 방법 및 장치 - Google Patents

Abstract

화상으로 나타나는 물체를 표현하는 방법에 있어서, 물체의 복수의 관측면 기술자(view descriptor)-각 관측면 기술자는 물체의 상이한 관측면에 해당함-를 도출하는 단계, 및 둘 이상의 관측면 기술자를 연관시키는 단계를 포함하고, 각 관측면 기술자에 대해 각 관측면이 상기 화상으로 나타나는 물체의 관측면에 대응하는 때를 표시하는 단계를 포함한다.

Description

물체를 화상으로 표현하고 검색하는 방법 및 장치{METHOD AND APPARATUS FOR REPRESENTING AND SEARCHING FOR AN OBJECT IN AN IMAGE}

화상으로 나타나는 물체의 표현을 이용하여, 예컨대 화상 라이브러리에서 정지 또는 비디오 화상을 저장하는 것이 잘 알려져있다. 이 표현은 관심있는 물체를 포함한 화상이 검색될 수 있는 검색방법에서 사용된다. 이 표현은 색채, 질감 및 형상을 포함한 물체의 다양한 특징에 기초할 것이다.

물체의 형상을 화상으로 표현하는 다양한 방법이 잘 알려져 있다. 공지의 방법은 체인 코딩, 쿼드트리(quad-tree) 방법, 및 CSS(curvature scale space) 표현방법을 포함한다.

화상검색 시스템에서 검색을 수행하기 위해, 사용자는 찾는 물체의 스케치 또는 화상을 시스템에 제공하거나, 시스템에 저장된 물체의 관측면(view)을 선택함으로써 질의어를 입력한다. 그후 이 시스템은 상기 질의 물체의 표현을 유도해내거나 얻고 이 질의표현을 적절한 대조방법을 이용하여 데이터베이스에 저장된 화상의 표현과 비교한다. 가장 비슷한 것이 디스플레이장치에 표시된다.

대부분의 경우, 비디오 화상으로 나타나는 물체는 3차원의 실물을 2차원의 화상평면으로 투사한 것이다. 이렇게 화상으로 나타나는 물체의 2차원 형상 또는 윤곽, 및 눈에 보이는 물체표면의 색채 및 질감은 관측 위치, 관측 각도, 및 카메라와 광학 시스템 파라미터와 같은 요인에 달려 있다. 따라서, 물체는 각기 다른 관측면에 따라 윤곽, 형상, 색채, 질감 등이 상이한 특징을 가질 것이다.

참고로 공동계류중인 특허출원 PCT/GB00/01662 에는 화상으로 나타나는 물체를 표현하는 방법 및 장치에 대해 기재되어 있는데, 여기서 복수의 서로 다른 2차원 관측면에서의 물체의 표현이 유도되고 연관되어 물체를 표현한다. 바람직하게는, 이 표현은 물체의 형상으로 되어 있지만, 예컨대 상이한 관측면에서의 색채 또는 질감일 수도 있다.

상기 방법을 정지화상 또는 동영상 내에서 물체에 적용할 때, 상이한 관측면과 관련된 물체의 특징을 표현하기 위해 화상과 연관된 몇가지 형상 또는 다른 기술자(descriptor)가 있을 것이다. 그러나, 전형적으로 이러한 관측면들 중 어느 것은 원래의 화상내에서 보일 것이다. 이들 특징 중 몇몇은 물체의 보이지않는 부분과 연관될 수도 있고 물체의 3D 특성을 설명하기 위한 것만일 수도 있다.

물체의 여러 관측면 중 어느 것이 보이고 보이지 않는지를 결정할 수 없으면, 이 검색방법은 특정된 관측면을 정확히 찾을 수 없을 것이다. 예를 들면, 측면 관측면을 이용하여, 자동차를 표현하는 화상에 대한 검색은 자동차의 상면 및 정면 관측면도 찾을 것이다.

본 발명은 특히 예컨대 멀티미디어 데이터베이스에서 검색시 사용하기 위하여 물체를 화상으로 표현하는 방법 및 장치에 관한 것이다. 본 발명은 또한 화상으로 표현된 물체를 검색하는 방법 및 장치에 관한 것이다.

본 발명의 실시예는 첨부도면을 참조하여 설명될 것이다.

도 1은 본 발명의 일실시예에 따른 시스템 블록도,

도 2는 비디오 시퀀스로 물체를 표현한 것을 도시한 도면,

도 3은 정지화상으로 물체를 표현한 것을 도시한 도면,

도 4는 제 1 검색방법의 결과를 도시한 도면,

도 5는 제 2 검색방법의 결과를 예시한 도면이다.

본 발명의 아이디어는, 어떤 기술자가 그 기술자와 연결된 화상 또는 동영상 내에서의 가시적인 특징과 실제로 관련되는지를 기술하는 가시 플래그(visibility flag)를 사용하는 것이다.

이에 따라, 본 발명은 화상으로 나타나는 물체를 표현하는 방법을 제공하고, 이 방법은, 물체의 상이한 관측면에 대응하는 물체의 복수의 관측면 기술자를 유도해내는 단계와, 관측면이 상기 화상으로 나타나는 물체의 관측면에 대응할 때를 나타내는 단계를 포함한다.

PCT/GB00/01662에 개시된 본 발명에서 형상 기술자는 하나의 멀티미디어 콘텐트내에 제공된 물체와 연관된다. 이러한 기술자는 상이한 관측면으로부터 물체의 형상을 기술하였다. 이들 관측면은 멀티미디어 재료내에서 보일 수 있고 안보일 수도 있다. 가시 플래그는 이 가시성 정보를 저장할 것이다.

각 관측면에 대한 가시성 데이터를 얻어지면, 이 검색방법으로 필요할 때에 보이지 않는 관측면을 갖는 물체를 여과해낼 수 있다.

본 발명의 일실시예에 따른 시스템이 도 1에 도시되어 있다. 이 시스템은 시스템의 작동을 제어하는 컴퓨터와 같은 제어장치(2), 화상 및 텍스트를 포함한 출력을 표시하기 위해 제어장치(2)에 접속된 모니터와 같은 디스플레이 장치(4), 및 명령을 제어장치(2)로 입력하기 위한 마우스와 같은 위치지정장치(6)를 포함한다. 이 시스템은 또한 복수의 정지화상 및 비디오 시퀀스의 형태의 일군의 화상의 디지털 버전을 저장하는 화상 데이터베이스(8), 및 화상 데이터베이스(8)에 저장된 정지화상 및 비디오 시퀀스의 각각으로 나타나는 물체에 대한 기술자 정보를 저장하는 기술자 데이터베이스(10)(아래에서 상세히 설명)를 포함한다. 화상 데이터베이스(8) 및 기술자 데이터베이스(10)는 각각 제어장치(2)에 접속된다.

이 실시예에서, 시스템의 부품들이 화상 라이브러리와 같은 단일 장소에 제공되는데, 이 시스템의 구성요소들은 영구적으로 연결된다.

이하, 본 발명의 일실시예에 따라 물체에 대한 기술자를 유도해내는 방법에 대해 설명하기로 한다. 비교적 간단한 형상을 갖는 물체, 이 경우에는 원통형 물체에 대해 먼저 설명한다.

이 실시예에서는, 화상 데이터베이스(8)에 저장된 비디오 시퀀스에서, 원통형 물체가 두번 나타난다. 도 2를 참조하면, 첫번째는, 물체의 윤곽이 관측면 1, 즉 측면에서의 관측면에 해당하고, 두번째는, 물체의 윤곽이 관측면 3, 즉 측면 위쪽에서의 투시도에 해당한다.

데이터베이스 색인작성자는 두개의 윤곽이 동일한 물체이며 이 윤곽에 대응하는 3차원의 물체는 원통임을 인식한다. 관측면 1 및 관측면 3의 각각에 대해, CSS(curvature scale space) 표현을 사용한 형상 기술자가 유도된다. 또한, 이 데이터베이스 색인작성자는, 고려하고 있는 비디오 시퀀스에 나타나지 않는다 하더라도, 물체를 대표하는 것이라 생각되는 추가적인 관측면을 선택한다. 이 실시예에서, 원통의 위에서 관측한 관측면 2가 대표적으로 선택된다. 이 관측면의 CSS 표현도 얻어진다.

Farzin Mokhtarian, Sadegh Abbassi 와 Josef Kittler의 논문 "Robust and Efficient Shape Indexing through Curvature Scale Space", Proc. British Machine Vision Conference, pp. 53-62, Edinburgh, UK 1996 에는 CSS 표현의 방법에 대해 개시되어 있으며 참조로 본 명세서에 기술되어 있다. 간단히 말하면, 형상의 윤곽을 표현하는 곡선은 이 곡선을 부드럽게 함으로써 전개된다. 이 곡선은 상기 전개에서 수많은 다른 단계에서 고려된다. 구체적으로, 곡률 부호변환점(curvature zero crossing)은 전개의 각 단계에서 곡률함수에서 식별된다. 이 곡률 부호변환점 그래프는 전개의 모든 단계로부터 부호변환점을 결합함으로써 얻어진다. 그래프의 한 축은 곡선의 전개 파라미터를 나타내는 б에 대응하고 다른 축은 곡선 호 길이 파라미터 u에 대응한다. 이때 형상은 이 그래프에서 윤곽선의 최대의 위치로 표현된다.

각 관측면에 대해, 적절한 CSS 표현을 포함하여, 관측면 기술자가 형성된다. 관측면 기술자는 PCT/GB00/01662에 개시된 바와 같은 전체 파라미터 또는 대응하는가시 표면의 색채/질감 특성과 같은 다른 정보를 포함할 수도 있다.

이 관측면 형상 기술자는 3D 물체 형상 기술자를 형성하도록 결합된다. 또한, 주어진 관측면이 비디오 시퀀스의 적어도 한 프레임에서 보이는지 보이지 않는지를 나타내는 가시 플래그는 이 물체 기술자와 연관된다. 이 실시예에서, 가시 플래그는 각 관측면 기술자의 일부를 형성한다. 따라서, 관측면 1 및 관측면 3의 각각의 관측면 기술자는 관측면이 비디오의 프레임에서 보임을 나타내는 가시 플래그 '1'을 포함하고, 관측면 2의 관측면 기술자는 관측면이 어떤 프레임에서도 보이지 않음을 나타내는 가시 플래그 '0'을 갖는다.

화상 데이터베이스(8)에 있는 화상 또는 일군의 화상으로 나타나는 관심있는 모든 물체에 대해 3D 물체 형상 기술자가 상기 방식으로 얻어진다.

다른 실시예로서, 도 3을 참조하면, 자동차 사진에 대해 3개의 관측면이 얻어진다. CSS 표현을 포함한 대응 관측면 기술자는 각 관측면에서의 자동차 윤곽에 대해 상기와 같이 얻어진다. 제 1 관측면은 사진의 관측면에 대응하고 따라서 연관된 관측면 기술자는 가시 관측면을 나타내는 가시 플래그 '1'을 갖는다. 다른 두개의 관측면에 대한 관측면 기술자는, 이들이 사진에 나타나지 않은 관측면에 대응하는 가시 플래그 '0'을 갖는다. 이 실시예에서, 가시 플래그는 사진으로부터 윤곽을 추출할 때에 결정된다. 즉, 형상이 사진으로부터 직접 추출되면, 가시 플래그 '1'이 주어지고, 색인작성자에 의해 형상이 선택되면, 가시 플래그 '0'을 갖는다. 달리, 가시 플래그는 나중에 검사에 의해 수동으로 추가될 수도 있다.

각 관측면 기술자는 또한, 어느 화상 또는 어느 비디오 시퀀스의 어느 프레임에서 나타나는지, 그리고 이 영상 또는 프레임에서 어느 물체인지를 나타내는 기준 포인터를 갖는데, 예컨대 물체의 관측면은, 비디오 181의 프레임 1000에서 나타나고 이것은 물체 번호 3임을 나타내는 포인터를 가질 수도 있다.

이 기술자 데이터베이스(10)는 화상 데이터베이스(8)에 저장된 화상 및 비디오 시퀀스에 있는 물체에 대한 3D 물체 형상 기술자를 저장한다.

상기 실시예에서, 비디오 시퀀스에서 나타나는 물체에 대해, 일군의 관측면 기술자가 전체 시퀀스에 대해 유도되고, 이 관측면 기술자는 관련된 관측면이 시퀀스의 적어도 한 프레임에서 나타나는지 나타나지 않는지를 표시하도록 사용된다. 대안적인 실시예에서, 각 프레임은 별도로 처리된다. 더 상세히 설명하면, 일군의 관측면 기술자는 프레임에서 나타나는 물체에 대해 유도되고, 가시 플래그는, 시퀀스의 다른 프레임에서 나타나는지의 여부에 상관없이, 연관된 관측면이 그 프레임에서 나타나는지의 여부를 나타낸다. 다른 대안적인 실시예에서, 일군의 관측면 기술자는 비디오 시퀀스에서 나타나는 물체에 대해 유도되고, 대응하는 일군의 가시 플래그가 각 프레임에 대해 유도되고 저장된다.

가시 플래그는 이하 설명되는 바와 같이 화상으로 물체를 검색하는 방법에서 사용된다.

사용자는 질의를 입력함으로써 검색을 개시한다. 이 질의는 위치지정장치(6)를 사용하여 입력되어 디스플레이 장치(4)에서 하나 이상의 형상의 윤곽을 나타낸다. 제어장치(2)는 그후 질의 관측면에 대한 CSS 관측면 기술자를 유도해낸다. 사용자는 제어장치(2)에 의해 디스플레이 장치(4)에 표시된 형상의메뉴로부터 질의 형상 또는 형상들을 선택함으로써 질의를 입력할 수도 있다. 이러한 경우, 관측면 기술자는 기술자 데이터베이스(10)에서 이미 사용가능할 수도 있다. 사용자는 또한 상자를 체크함으로써 검색이 질의 관측면과 동일한 관측면에 제한되어야 하는지 여부를 나타낸다. 검색이 그렇게 제한적이지 않으면, 검색 및 대조절차는 질의 물체 기술자와 기술자 데이터베이스(10)에 저장된 물체 기술자(이하, 모델 물체 기술자라 함)와의 사이의 유사성을 결정함으로써 본질적으로 PCT/GB00/01662에 개시된 바와 같이 수행된다.

간단히 말해서, 관측면-유사성 측정값을 도출하기 위해 대조함수를 이용하여 비교기에서 고려중인 모델 물체 기술자에 대한 각 모델 관측면 기술자와 각 질의 관측면 기술자가 비교된다. i 번째 질의 관측면 기술자와 j 번째 모델 관측면 기술자의 비교결과는 관측면 유사성 측정값 s_i,j로 된다. 하나 이상의 질의 관측면이 있으면, 관측면 유사성 측정값들의 중간값을 물체 유사성 측정값 S로 한다.

대조절차 결과, n개의 유사성 측정값 S로 되는데, 여기서 n은 기술자 데이터베이스에서 3D 물체 기술자의 갯수이다. n개의 유사성 측정값은 이후 가장 비슷한 것을 나타내는 최저값에서 시작하여 순서가 매겨진다. 이후, m개의 최저값(여기서 m은 사용자에 의해 선택된 값이거나 제어유닛의 셋업에 의해 결정된 값임)이 선택되고, 물체를 포함하여 대응하는 m개의 화상(이들 중 몇몇은 비디오 시퀀스로부터 얻어지는 화상일 수 있다)들이 디스플레이 장치(4)에 표시된다.

질의 관측면과 동일한 관측면으로 검색이 제한되면, 보이지않는 모델 관측면이 검색 프로세스 동안에 여과된다. 이는, 대조함수를 사용하여 질의 관측면 기술자를 오직 대응하는 관측면이 화상에서 보임을 나타내는 모델 관측면 기술자와 대조함으로써 이뤄질 수 있다. 즉, 대조함수를 이용하여 유사성 측정값을 계산할 때, 가시 플래그가 '0'인 모델 관측면 기술자는 빠진다. 대신, 관측면 유사성 측정값은 모든 모델 관측면 기술자에 대해 계산될 수 있지만, 가시 플래그가 0인 모델 관측면 기술자에 대한 결과는 향후의 처리에서 빠질 수 있다. 달리, 가시 플래그는 표시를 위해 검색결과를 선택할 때에 고려될 수 있다. 대조절차의 결과를 표시할 때, 비디오 시퀀스의 경우에, 대조된 관측면을 포함하는 프레임이 표시된다.

도 4는 PCT/GB00/01662에 개시된 다수의 관측면 검색방법이 어떻게 질의 아이템과 동일 형상이지만 동일 관측면은 아닌 결과를 찾아 반환하는지의 예를 보여준다. 한편 도 5는 각 관측면 기술자 내에 있는 가시 플래그가 어떻게 질의 아이템과 동일 형상 및 동일 관측면인 결과를 반환하게 할 수 있는지를 도시한다.

본 발명에 따른 시스템은 예컨대 화상 라이브러리에서 제공될 수도 있다. 택일적으로, 데이터베이스는, 전화선과 같은 일시적 링크 또는 인터넷과 같은 네트워크에 의해 제어장치에 접속된, 시스템의 제어장치로부터 떨어져 위치될 수도 있다. 이 화상 및 기술자 데이터베이스는 예컨대 영구기억장치나 CD-ROM 또는 DVD와 같은 휴대용 데이터 저장매체에 제공될 수도 있다.

예컨대 선택기 및 비교기와 같은 전술된 시스템의 구성요소는 소프트웨어 또는 하드웨어 형태로 제공될 수도 있다. 본 발명이 컴퓨터 시스템의 형태로 기술되었지만, 다른 형태, 예컨대 전용칩을 이용하여 구현될 수도 있다.

물체의 2D 형상을 표현하는 방법 및 두개의 형상 사이의 유사성을 표현하는 값을 계산하는 방법에 대해 구체적인 예가 주어졌지만 임의의 적절한 방법을 사용할 수 있다.

완전한 또는 거의 완전한 형상 기술을 구성하는 물체의 다양한 관측면을 예컨대 영화제작자가 제공될 수도 있다. 예를 들어, 자동차를 포함하는 영화에서, 제작자가 데이터베이스에서 영화 색인을 할 때에 사용하기 위해 촬영한 자동차의 20가지 다른 관측면을 준비할 수도 있다. 택일적으로, 이 관측면들을 찾을 수 있도록 물체의 모든 다른 관측면들 사이의 연결을 시퀀스로 제공할 수도 있고, 시퀀스에서 나타나지 않는 임의의 유용한 관측면에 대한 형상을 예컨대 물체의 제 1 관측면에 대한 데이터가 포함될 때에 제공할 수도 있다.

본 발명은 또한, 예컨대 확인목적으로 물체의 화상을 대조하거나 여과를 할 목적으로 사용될 수도 있다.

본 발명은 단일의 화상, 및 영화나 비디오에서의 화상과 같은 화상의 시퀀스에서의 화상, 또는 동일한 웹페이지에서와 같이 어떤 방식으로든 연관된 화상의 집합에 적용할 수 있다.

상기 실시예에서, 관측면 기술자는 상이한 관측면의 물체의 형상으로부터 도출된다. 관측면 기술자는, 형상 대신에 또는 형상은 물론, 색채 또는 질감와 같은 물체의 다른 특징으로부터 도출될 수 있다. 예컨대 형상, 색채, 질감와 같은 물체의 다양한 특징은 단독으로 또는 조합하여 관측면 기술자의 기초를 형성할 수 있고, 관측면 기술자는 상이한 관측면에 대한 상이한 특징을 근거로 할 수 있다.

Claims (19)

1. 화상으로 나타나는 물체를 표현하는 방법에 있어서,

   상기 물체의 복수의 관측면 기술자(view descriptor)를 도출하는 단계

   -상기 각 관측면 기술자는 상기 물체의 상이한 관측면에 대응함-와,

   각 관측면 기술자에 대해 상기 각 관측면이 상기 화상으로 나타나는 상기 물체의 관측면에 대응하는 때를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,

   상기 각 관측면이 상기 화상으로 나타나는 상기 물체의 관측면에 대응하는지의 여부를 표시하기 위해 플래그를 각 관측면 기술자와 연관시키는 단계를 포함하는 것을 특징으로 하는 방법.
3. 일군의 화상으로 나타나는 물체를 표현하는 방법에 있어서,

   상기 물체의 복수의 관측면 기술자를 도출하는 단계

   -상기 각 관측면 기술자는 상기 물체의 상이한 관측면에 대응함-와,

   각 관측면 기술자에 대해 상기 각 관측면이 상기 일군의 화상으로 나타나는 상기 물체의 관측면에 대응하는 때를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
4. 제 3 항에 있어서,

   상기 각 관측면이 상기 일군의 화상 중 적어도 하나의 화상으로 나타나는지의 여부를 표시하기 위하여 플래그를 각 관측면 기술자와 연관시키는 단계를 포함하는 것을 특징으로 하는 방법.
5. 제 3 항에 있어서,

   상기 일군의 화상에서의 각 화상에 대해, 상기 각 관측면이 상기 화상으로 나타나는 물체의 관측면에 대응하는지의 여부를 각 관측면 기술자에 대해 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,

   상기 일군의 화상은 화상의 시퀀스인 것을 특징으로 하는 방법.
7. 제 6 항에 있어서,

   상기 화상의 시퀀스는 비디오 또는 영화로부터 나온 것임을 특징으로 하는 방법.
8. 선행하는 청구항 중 어느 한 항에 있어서,

   적어도 하나의 관측면 기술자는 상기 각 관측면에서의 상기 물체의 가시 특징의 표현을 포함하는 것을 특징으로 하는 방법.
9. 제8항에 있어서,

   적어도 하나의 관측면 기술자는 상기 각 관측면에서의 상기 물체의 형상의 표현을 포함하는 것을 특징으로 하는 방법.
10. 제9항에 있어서,

    상기 형상 관측면 기술자는 CSS(curvature scale space) 표현을 사용하여 도출되는 것을 특징으로 하는 방법.
11. 제8항에 있어서,

    적어도 하나의 관측면 기술자는 상기 각 관측면에서의 상기 물체의 색채의 표현을 포함하는 것을 특징으로 하는 방법.
12. 제8항에 있어서,

    적어도 하나의 관측면 기술자는 상기 각 관측면에서의 상기 물체의 질감의 표현을 포함하는 것을 특징으로 하는 방법.
13. 선행하는 청구항 중 어느 한 항에 있어서,

    검색을 목적으로 화상 또는 화상의 집합을 색인하는 것을 특징으로 하는 방법.
14. 검색을 목적으로 데이터베이스에 저장된 화상 또는 일군의 화상을 색인하는 방법에 있어서,

    화상 또는 일군의 화상으로 나타나는 물체를 식별하는 단계,

    상기 물체의 복수의 상이한 관측면의 표현을 도출하는 단계, 및

    표현된 관측면이 화상으로 나타나는 물체의 상기 관측면에 대응할 때를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
15. 저장된 화상 및 일군의 화상으로 질의 물체를 검색하는 방법에 있어서,

    질의를 입력하는 단계,

    상기 질의를 선행하는 청구항에서의 방법을 이용하여 도출된 상기 저장된 화상의 표현과 대조하는 단계, 및

    가장 비슷한 것을 인출(retrieval)하는 단계를 포함하고,

    상기 질의 입력은 상기 검색이 상기 질의 관측면과 동일한 관측면으로 상기 질의 물체를 보여주는 화상 또는 일군의 화상에 제한되어야 하는지의 여부를 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
16. 선행하는 청구항의 방법을 구현하기 위해 적합한 것을 특징으로 하는 화상 검색 및 인출 시스템.
17. 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.
18. 제 1 항 내지 제 15 항 중 어느 한 항의 방법에 따라 작동하도록 프로그램된는 것을 특징으로 하는 컴퓨터 시스템.
19. 제 1 항 내지 제 15 항 중 어느 한 항의 방법을 구현하는 컴퓨터 실행가능한 프로세스 단계를 저장하는 것을 특징으로 하는 컴퓨터 판독가능한 기억매체.