KR20170058942A - 검색, 사용자 관심 또는 선호도의 지시자로서 깊이 지각의 사용 - Google Patents

검색, 사용자 관심 또는 선호도의 지시자로서 깊이 지각의 사용 Download PDF

Info

Publication number
KR20170058942A
KR20170058942A KR1020177007764A KR20177007764A KR20170058942A KR 20170058942 A KR20170058942 A KR 20170058942A KR 1020177007764 A KR1020177007764 A KR 1020177007764A KR 20177007764 A KR20177007764 A KR 20177007764A KR 20170058942 A KR20170058942 A KR 20170058942A
Authority
KR
South Korea
Prior art keywords
preference information
information
user
data
objects
Prior art date
Application number
KR1020177007764A
Other languages
English (en)
Inventor
조엘 포겔슨
주안 엠. 노구에롤
애덤 발레스트
기욤 앙드레 로저 고사르
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20170058942A publication Critical patent/KR20170058942A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G06F17/30991—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F17/30247—
    • G06F17/3079—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

방법 및 장치가 제공된다. 본 방법은 3차원 디스플레이 또는 가상 현실 공간에서와 같이, 깊이 지각을 사용한 선호도 정보의 디스플레이를 제공한다. 객체들이 이미지 또는 이미지 시퀀스에서 식별되고 선호도 정보에 따라 관련성 정보가 할당된다. 좋아하는 객체들은 선호도의 강도에 기초하여 다양한 정도까지, 디스플레이의 전경 평면들에 표시된다. 싫어하는 객체들은 선호도의 강도에 기초하여 다양한 정도까지, 디스플레이의 배경 평면들에 표시된다. 미확인 또는 중립 객체들은 전경도 배경도 아닌, 베이스 레벨에 표시된다. 예시적인 실시예는 다양한 배우들이 안으로 또는 밖으로 밀려 표시된 영화 데이터베이스 애플리케이션에 대해 제공된다. 또 다른 실시예는 사용자가 그의 선호도들을 변경하기 위해 객체들의 평면을 조정할 수 있게 한다.

Description

검색, 사용자 관심 또는 선호도의 지시자로서 깊이 지각의 사용{USE OF DEPTH PERCEPTION AS INDICATOR OF SEARCH, USER INTEREST OR PREFERENCE}
본 원리들은 3차원(3D) 디스플레이 또는 가상 현실(VR) 공간에서의 깊이 지각을 사용하여 검색 결과, 사용자 선호도 또는 관심을 나타내는 것에 관한 것이다.
이미지 분할 기법들은 종종 이미지들 또는 비디오 시퀀스들에서 상이한 객체들을 분리하는 데 사용된다. 객체 인식 기법들은 이러한 객체들이 기존 시퀀스 내에서 식별되거나 추적될 수 있게 한다. 의료 영상 분야에서, 종양인 것처럼 보이는 객체들을 의료 영상 시퀀스들에서 식별하는 것은 종양이 어떤 모습으로 보일 수 있는지를 정의한 다음, 이러한 묘사에 상당히 들어맞는 객체들을 시퀀스에서 검색하는 것에 의해 가능하다.
그러나, 사용자가 객체 또는 일부 피사체를 검색하기를 원하는데 피사체가 어느 미디어 자산에 포함될 수 있는지를 확신하지 못하거나, 피사체의 정확한 모습을 확신하지 못하는 경우, 이미지 분할 및 객체 인식 기법들은 실패할 것이다.
또 다른 도전은 이러한 검색의 결과들을 의미 있는 방식으로 사용자에게 제시하여, 사용자가 자신이 찾고 있는 객체들을 신속하게 식별할 수 있도록 하는 것이다.
비디오 이미지들 또는 시퀀스들에서 피사체들을 식별하여 이들을 이미지에서 그 관심 항목들도 사용자에게 디스플레이하는 방식으로 사용자에게 제시할 필요가 존재한다.
종래 기술의 이들 및 다른 단점들 및 불리점들은 3차원(3D) 디스플레이 또는 가상 현실(VR) 공간에서의 깊이 지각을 사용하여 검색 결과, 사용자 선호도 또는 관심을 나타내는 것에 관한 본 원리들에 의해 해결된다.
본 원리들의 일 양태에 따르면, 3차원 또는 가상 현실 공간에서 선호도 정보를 디스플레이하는 방법이 제공된다. 이 방법은 선호도 정보를 수신하는 단계를 포함한다. 이 방법은 선호도 정보에 기초하여, 입력 이미지 데이터에서 적어도 하나의 분할 및 식별된 객체에 대한 관련성 데이터를 생성하는 단계를 추가로 포함한다. 이 방법은 생성된 관련성 데이터에 기초하여 적어도 2개의 평면에 이미지 데이터를 디스플레이하는 단계를 추가로 포함한다.
본 원리들의 또 다른 양태에 따르면, 장치가 제공된다. 이 장치는 선호도 정보를 수신하고, 선호도 정보에 기초하여 입력 비디오 데이터로부터 적어도 하나의 분할 및 식별된 객체에 대한 관련성 데이터를 생성하도록 구성된 프로세서를 포함한다. 이 장치는 관련성 데이터를 수신하고 관련성 데이터에 기초하여 적어도 2개의 평면에 이미지 데이터를 디스플레이하기 위한 데이터를 생성하는 디스플레이 프로세서를 추가로 포함한다.
본 원리들의 이들 및 다른 양태들, 특징들 및 장점들은 첨부된 도면들과 관련하여 읽혀지는 예시적인 실시예들의 이하의 상세한 설명으로부터 명백하게될 것이다.
본 원리들은 다음의 예시적인 도면들에 따라 더 잘 이해될 수 있다:
도 1은 3차원 또는 가상 현실 공간에서 복수의 평면을 사용하여 선호도를 디스플레이하기 위한 예시적인 방법(100)의 흐름도를 도시한다.
도 2는 3차원 또는 가상 현실 공간에서 복수의 평면을 사용하여 선호도를 디스플레이하기 위한 장치의 일 실시예를 도시한다.
도 3의 (a) 및 (b)는 복수의 블록을 갖는 3차원 이미지의 개념도를 도시한다.
본 원리들은 3차원 또는 가상 현실 공간에서 선호도 정보를 디스플레이하는 방법 및 장치에 관한 것이다. 정보는 깊이 지각을 사용하여 디스플레이되며, 따라서 가장 관심 있는 항목들이 전경에 나타나는, 또는 뷰어에 더 가까운 평면들에 디스플레이된다. 싫어하는 항목들은 배경에 나타나는, 또는 뷰어로부터 더 멀리 있는 평면들에 디스플레이된다. 전경 및 배경 평면들은 사용자와의 관련성 또는 관심의 정도에 기초하여, 그것들이 앞에 또는 뒤에 있는 정도까지 변화할 수 있다.
본 원리들의 일 실시예는 3차원 또는 가상 현실 공간에서 복수의 평면을 사용하여 선호도를 디스플레이하기 위한 방법(100)의 흐름도인 도 1에 도시된다. 이 방법은 단계 101에서 시작하는 것으로 시작되며, 선호도 정보를 수신하기 위해 단계 110으로 진행한다. 선호도 정보는 사용자 입력(들), 저장된 프로파일 정보, 또는 다른 그러한 데이터를 포함할 수 있다. 선호도 정보는 또한 이 전술한 정보의 일부 조합을 포함하거나, 또는 이 정보에 기초할 수도 있다. 그 후, 방법은 단계 110으로부터의 선호도 정보에 기초하여, 입력 이미지 데이터에서 적어도 하나의 분할 및 식별된 객체에 대한 관련성 데이터를 생성하기 위해 단계 120으로 진행한다. 그 후, 방법은 단계 120으로부터의 생성된 관련성 데이터에 기초하여 적어도 2개의 평면에 이미지 데이터를 디스플레이하기 위해 단계 130으로 진행한다.
도 2는 3차원 또는 가상 현실 공간에서 복수의 평면을 사용하여 선호도를 디스플레이하기 위한 장치(200)의 하나의 예시적인 실시예를 도시한다. 이 장치는 선호도 정보를 수신하고 선호도 정보에 기초하여 입력 비디오 데이터로부터 적어도 하나의 분할 및 식별된 객체에 대한 관련성 데이터를 생성하도록 구성된 프로세서(210)를 포함한다. 선호도 정보는 사용자 입력(들), 저장된 프로파일 정보, 또는 다른 그러한 데이터를 포함할 수 있다. 선호도 정보는 또한 이 전술한 정보의 일부 조합을 포함하거나, 또는 이 정보에 기초할 수도 있다. 분할 정보 및 객체 식별 정보는 본 원리들의 일부로서 로컬로 생성될 수 있거나, 외부 소스에 의해 공급될 수 있다. 이 장치는 프로세서(210)의 관련성 데이터 출력과 신호 접속하고 관련성 데이터에 기초하여 적어도 2개의 평면에 이미지 데이터를 디스플레이하기 위한 데이터를 생성하는 디스플레이 프로세서(220)를 추가로 포함한다.
이 장치는 또한 옵션으로, 나중의 사용을 위해 사용자의 선호도들을 조정하기 위해 사용자 선호도들에 피드백되는 이미지에서 객체들의 평면을 조정할 수 있는 사용자로부터의 입력을 수신할 수 있다.
전술한 바와 같이, 본 원리들은 검색 결과, 사용자 관심, 또는 선호도의 지시자로서 깊이 지각을 사용하는 것에 관한 것이다. 깊이 정보는 3차원(3D) 또는 가상 현실(VR) 공간에서 디스플레이되며, 이미지 또는 이미지(들)에서 분할 및 식별된 이미지 시퀀스 내의 적어도 하나의 객체에 할당된다. 다음의 설명에서 이미지를 언급할 때, 프로세스는 또한 개별 이미지들로 구성된 이미지 시퀀스에 적용될 수도 있다는 것을 이해해야 한다.
선호도 정보는 관련성 정보라고도 불리는, 깊이 정보를 생성하는 데 사용된다. 선호도 정보는 여러 방법으로 도출될 수 있다. 그것은, 예를 들어, 검색 쿼리와 같은 사용자 입력에 기초할 수 있다. 그것은 사용자 프로파일 정보에 기초할 수도 있고, 또는 그것은 다른 정보, 예를 들어 입력 이미지 또는 이미지 시퀀스에서 객체들의 관련성을 나타내는 어떤 외부에서 공급된 정보에 기초할 수도 있다.
분할 정보는 또한 이미지를 상이한 객체들로 분해하는 데 사용된다. 분할 정보는 본 원리들의 일부로서 로컬로 생성될 수 있거나, 외부 소스에 의해 공급될 수 있다. 에지 검출 알고리즘들을 사용하여 다양한 객체들을 검출하고 이들을 이미지 내의 조각 그림 맞추기(jigsaw puzzle)의 조각들과 같이 분해할 수 있다.
객체 식별 또는 객체 인식 정보는 이미지로부터 분할된 객체들을 식별하는 데 사용된다. 객체 식별 정보는 또한 본 원리들의 일부로서 로컬로 생성될 수 있거나, 외부 소스에 의해 공급될 수 있다.
적어도 하나의 예시적인 실시예에서, 외부 소스로부터의 데이터의 세트는 특정 영화 장면들에서 나타나는 배우들을 나타낼 수 있다. 이것의 일례는 DigitalSmiths 데이터이다.
입력 이미지 내의 분할 정보 및 객체 식별 정보와 함께, 선호도 정보는 입력 이미지 내의 객체들 중 적어도 하나에 대한 관련성 정보를 생성하는 데 사용된다. 선호도 정보는 사용자가 객체에 얼마나 관심이 있는지, 사용자와의 그의 관련성 또는 선호도 정보가 보여주는 어떤 다른 메트릭을 나타낼 수 있다.
좋아하는 객체들은 선호도의 강도에 기초하여 다양한 정도까지, 디스플레이의 전경 평면들에 표시된다. 싫어하는 객체들은 역시 선호도의 강도에 기초하여 다양한 정도까지, 디스플레이의 배경 평면들에 표시된다. 미확인 또는 중립 객체들은 전경도 배경도 아닌, 베이스 레벨에 표시된다.
이미지 내의 객체 또는 객체에 대한 관련성 정보는 이미지 내의 다른 객체들에 대해, 또는 배경에 대해 사용자 관심을 나타내는 비디오 평면에 해당 객체를 디스플레이하는 데 사용된다. 미확인 객체들은 안으로 밀린 것으로도 밖으로 밀린 것으로도 보이지 않는 베이스 레벨에 남겨질 수 있다. 예를 들어, 사용자가 특정 객체를 검색했기 때문에 사용자가 이 특정 객체에 매우 관심이 있다면, 그것은 전경 평면에 표시될 수 있다. 또 다른 객체가 첫 번째 객체보다 약간 덜 관련이 있지만, 여전히 얼마간의 사용자 관심이 있다면, 그것은 첫 번째 객체보다 약간 덜 전경인 평면에, 그러나 나타내어진 관련성이 없는, 이미지의 중립 부분들에 대해 전경에 표시될 수 있다. 예를 들어, 사용자 프로파일이 어떤 것에 대한 강한 반감을 나타내고, 그것도 이미지에 포함된다면, 그것은 사용자의 싫어함을 나타내기 위해 배경에 표시되는 평면에 나타날 것이다. 다양한 객체들이 나타나는 평면에 관련한 그 객체들의 렌더링은 선호도 정보에 기초하여 조정된다.
3D 또는 VR 공간에서의 이미지의 전경 및 배경 부분들의 예가 도 3에 도시되어 있다. 도 3의 (a)는 1 내지 5로 표시된, 이미지 내의 5개의 블록의 정면도(300)를 도시한다. 사용자는 블록 5(350)에 가장 관심이 있거나 좋아하고, 그 다음으로 블록 3(330), 그 다음으로 블록 2(320)에 관심이 있거나 좋아한다. 사용자는 블록 1(310)에는 관심이 없고, 블록 4(340)에는 전혀 관심이 없다.
도 3의 (b)는 본 원리들에 따른 이미지의 개념 측면도(360)를 도시한다. 사용자는 블록 5(350)에 가장 관심이 있기 때문에, 그것은 "앞으로 밀리거나", 또는 가장 가까운 전경에 표시된다. 다음으로 가장 앞에는 블록 3(330)이 있고, 그 다음으로 블록 2(320)이 있다.
사용자는 블록 1(310)에는 관심이 없으므로, 그것은 이미지의 배경 안으로 약간 "뒤로 밀려" 표시된다. 그리고 사용자는 블록 4(340)에는 전혀 관심이 없으므로, 그것은 이미지의 배경 평면 안으로 한층 더 멀리 "뒤로 밀려" 표시된다.
본 원리들의 실시예의 일례는 영화 쿼리 애플리케이션의 예를 통해 설명될 수 있다. 사용자는 배우 A에 의한 영화들을 찾아 영화 라이브러리(로컬 또는 온라인)를 검색하고 싶을 것이다. 그는 또한 어떤 배우/여배우를 그가 좋아하고 싫어하는지를 나타내는 저장된 프로파일을 가지고 있다. 프로파일은 장르, 감독 등과 같은 다른 선호도 정보를 나타낼 수도 있다.
일단 사용자가 배우 A에 의한 영화들을 검색하면, 사용자는 배우 A를 포함하는 영화들에 대해, 이미지들, 클립들 또는 트레일러들의 형태로 일련의 검색 결과들을 수신한다. 이들 결과에서, 배우 A는 검색으로부터의 사용자 요청 때문에 전경 안으로 밀릴 수 있다. 그러나, 프로파일 정보로부터의 다른 선호도들이 사용되기 때문에, 클립들은 또한 결과들 각각에서 다른 배우들/여배우들도 표시할 수 있고, 해당 배우에 대한 사용자 선호도에 기초하여, 그들의 이미지가 앞으로 또는 뒤로 밀리는 것처럼 보일 수 있다.
사용자가 많은 전경 배우들/여배우들을 본다면, 그 사용자는 이 영화가 그가 매우 좋아하는 스타들을 많이 포함하기 때문에 이 영화를 보기를 열망할 수 있다. 그러나, 그가 배우 A가 전경에 있는 영화를 보지만, 그 영화의 다른 배우들이 뒤로 밀린다면, 그는 배우 A 영화를 보고자 하는 욕구에도 불구하고 나머지 배역에 대한 그의 반감 때문에 영화를 보고 싶지 않다고 결정할 수 있다.
유사한 아이디어가 미디어 자산 제목들에도 적용될 수 있는데, 사용자에게 가장 매력적인 제목들은 전경 안으로 밀릴 수 있고 매력 없는 제목들은 뒤로 밀릴 수 있다.
또 다른 예시적인 실시예에서, 배우들과 같은 객체들이 그들의 다양한 평면들에 있는 디스플레이가 표시되면, 사용자는 객체 또는 배우가 있는 평면을 직접 조정함으로써 그의 선호도를 변경할 수 있다. 예를 들어, 상기 배우 A 실시예에서, 사용자가 이미지 내의 객체들 중 하나에 대한 그의 의견을 변경했다고 결정하면, 그는 이를 뒤로 밀거나 앞으로 당길 수 있고, 그의 선호도 정보 또는 프로파일이 자동적으로 업데이트되어 이제는 새로운 방식으로 검색에 영향을 줄 것이다.
본 원리들에 따른 3차원 디스플레이에서, 다양한 객체들은 이미지 내의 다양한 평면들에서 더 가깝게 또는 더 멀리 나타난다. 가상 현실 공간에서, 일부 서랍들은 다양한 정도까지 튀어나오고 다른 서랍들은 다양한 정도까지 안으로 밀린 서류 캐비닛들과 같은 다양한 평면들을 상상할 수 있다. 사용자는 파일들을 둘러보고 그것들이 안으로 또는 밖으로 밀리는 정도를 결정할 수 있을 것이다.
본 설명은 본 원리들을 예시하고 있다. 그러므로, 본 기술분야의 통상의 기술자는, 본 명세서에 명시적으로 기재되거나 도시되지 않더라도, 본 원리들을 구현하고 본 원리들 내에 포함되는 다양한 배열들을 고안할 수 있을 것이라는 것은 명백할 것이다.
본 명세서에서 언급된 모든 예들 및 조건부 언어는, 본 발명자(들)가 본 기술분야를 발전시키는 데 기여한 본 원리들 및 개념들을 독자가 이해하는 것을 돕기 위한 교육적 목적들을 위해 의도되며, 이러한 구체적으로 언급된 예들 및 조건들에 제한되지는 않는 것으로서 해석되어야 한다.
또한, 본 명세서에서 그 구체적인 예들뿐만 아니라, 본 원리들의 원리들, 양태들 및 실시예들을 인용하는 모든 언급들은 그 구조적 및 기능적 등가물들 양쪽 모두를 포함하려는 것이다. 추가적으로, 이러한 등가물들은 현재 알려져 있는 등가물들뿐만 아니라 장래에 개발되는 등가물들, 즉 구조에 상관없이 동일한 기능을 수행하는 개발되는 임의의 요소들을 포함한다고 의도된다.
따라서, 예를 들어, 본 명세서에서 제시된 블록도들은 본 원리들을 구현하는 예시적인 회로의 개념도를 나타낸다는 것이 본 기술분야의 통상의 기술자에 의해 인식될 것이다. 유사하게, 임의의 플로우차트, 흐름도, 상태 천이도, 의사코드 등은, 실질적으로 컴퓨터 판독가능 매체에 표현될 수 있고, 따라서 컴퓨터 또는 프로세서가 명시적으로 도시되어 있든지 간에, 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스들을 나타낸다는 점이 인식될 것이다.
도면들에 도시된 다양한 요소들의 기능들은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 연관하여 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공될 때, 기능들은 단일의 전용 프로세서에 의해, 단일의 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어기"의 명시적인 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 나타내는 것으로 해석되어서는 안 되고, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 스토리지를 암암리에 포함할 수 있다.
통상적인 및/또는 맞춤형인 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치들은 개념적일 뿐이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해, 또는 심지어는 수동으로 수행될 수 있으며, 본 맥락으로부터 더 구체적으로 이해되는 바와 같이 구현자에 의해 특정 기술이 선택가능하다.
본 명세서의 청구항들에서, 특정된 기능을 수행하는 수단으로서 표현된 임의의 요소는, 예를 들어, a) 그 기능을 수행하는 회로 요소들의 조합, 또는 b) 기능을 수행하도록 소프트웨어를 실행하기 위한 적절한 회로와 결합된 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 그 소프트웨어를 포함하여, 그 기능을 수행하는 임의의 방식을 포괄하는 것으로 의도된다. 이러한 청구항들에 의해 정의된 바와 같은 본 원리들은, 다양한 언급 수단들에 의해 제공된 기능성들이 청구항들이 촉구하는 방식으로 함께 합쳐지고 결합된다는 사실에 있다. 따라서, 그러한 기능성들을 제공할 수 있는 임의의 수단들은 본 명세서에 도시된 것들과 등가인 것으로 간주된다.
본 명세서에서 본 원리들의 "일 실시예" 또는 "실시예"뿐만 아니라, 그것의 다른 변형들에 대한 언급은 그 실시예와 관련하여 설명된 특정 특징, 구조, 특성 등이 본 원리들의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, "일 실시예에서" 또는 "실시예에서"라는 구절뿐만 아니라, 본 명세서 도처의 다양한 곳에 나타나는 임의의 다른 변형들의 출현들은 반드시 모두 동일한 실시예를 지칭하는 것은 아니다.
예를 들어, "A/B", A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에서, "/", "및/또는", 및 "중 적어도 하나" 중 임의의 것의 이용은 첫 번째 열거한 옵션(A)만의 선택, 아니면 두 번째 열거한 옵션(B)만의 선택, 아니면 양쪽 모두의 옵션(A 및 B)의 선택을 포함하려는 것이다. 하나의 추가 예로서, "A, B, 및/또는 C" 및 "A, B, 및 C의 적어도 하나"의 경우들에서, 그러한 구문들은 첫 번째 열거된 옵션(A)만의 선택, 또는 두 번째 열거된 옵션(B)만의 선택, 또는 세 번째 열거된 옵션(C)만의 선택, 또는 첫 번째 및 두 번째 열거된 옵션들(A 및 B)만의 선택, 또는 첫 번째 및 세 번째 열거된 옵션들(A 및 C)만의 선택, 또는 두 번째 및 세 번째 열거된 옵션들(B 및 C)만의 선택, 또는 모든 3가지 옵션들(A 및 B 및 C)의 선택을 포함하려는 것이다. 이것은 본 기술분야 및 관련 기술분야들의 통상의 기술자들에게 용이하게 자명하므로, 열거되는 만큼의 항목들에 대해 확장될 수 있다.
본 원리들의 이러한 그리고 다른 특징들 및 이점들은 본 명세서에서의 교시들에 기초하여 관련 기술분야의 통상의 기술자에 의해 손쉽게 확인될 수 있다. 본 원리들의 교시들은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합으로 구현될 수 있다는 것이 이해되어야 한다.
가장 바람직하게는, 본 원리들의 교시들은 하드웨어와 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 유닛 상에 유형으로 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 애플리케이션 프로그램은 임의의 적합한 아키텍처를 포함하는 머신에 업로드되고, 이 머신에 의해 실행될 수도 있다. 바람직하게, 머신은 하나 이상의 중앙 처리 유닛("CPU"), 랜덤 액세스 메모리("RAM") 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 운영 체제 및 마이크로명령 코드를 또한 포함할 수 있다. 본 명세서에서 설명된 다양한 프로세스 및 기능들은 마이크로명령 코드의 일부 또는 애플리케이션 프로그램의 일부, 또는 그 임의의 조합일 수 있으며, CPU에 의해 실행될 수 있다. 또한, 부가적인 데이터 저장 유닛 및 인쇄 유닛과 같은 다양한 다른 주변 유닛들이 컴퓨터 플랫폼에 접속될 수 있다.
첨부 도면들에 도시된 구성 시스템 컴포넌트들 및 방법들의 일부가 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속들은 본 원리들이 프로그램되는 방식에 종속하여 상이할 수 있다는 것이 또한 이해되어야 한다. 본 명세서에서의 교시들을 고려하면, 관련 기술분야의 통상의 기술자라면, 본 원리들의 이러한 그리고 유사한 구현들 또는 구성들을 고려할 수 있을 것이다.
예시적인 실시예들이 첨부 도면들을 참조하여 본 명세서에 기술되었지만, 본 원리들은 이들 정확한 실시예들로 제한되지 않고 본 기술분야의 통상의 기술자에 의해 본 원리들의 범위를 벗어나지 않고서 다양한 변경들 및 변형들이 달성될 수 있다는 것을 이해해야 한다. 모든 그러한 변경들 및 변형들은 부가된 청구항들에서 제시된 본 원리들의 범위 내에 포함된다고 할 것이다.

Claims (16)

  1. 방법으로서,
    선호도 정보를 수신하는 단계;
    상기 선호도 정보에 기초하여, 적어도 하나의 분할 및 식별된 객체에 대한 관련성 데이터를 생성하는 단계; 및
    상기 관련성 데이터에 기초하여 적어도 2개의 평면 중 하나의 평면에 이미지 데이터를 디스플레이하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 디스플레이하는 단계는 3차원 또는 가상 현실 공간에서 일어나는, 방법.
  3. 제1항에 있어서,
    사용자 입력 및 저장된 프로파일 정보 중 적어도 하나에 응답하여 저장된 참조 정보를 구성하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    사용자 입력으로서 검색 쿼리를 수신하는 단계를 포함하는, 방법.
  5. 제3항에 있어서,
    적어도 하나의 사용자 입력 및 저장된 프로파일 정보를 조합함으로써 상기 선호도 정보를 구성하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 객체는 입력 비디오 데이터에 포함되는 객체들의 데이터베이스에 의해 식별된, 방법.
  7. 제1항에 있어서,
    분할된 상기 적어도 하나의 객체는 에지 검출 프로세스를 사용하여 분할되는, 방법.
  8. 제1항에 있어서,
    상기 선호도 정보는 상기 디스플레이를 통해 객체의 평면을 변경하는 사용자에 의해 변경되는, 방법.
  9. 장치로서,
    선호도 정보를 수신하고, 상기 선호도 정보에 기초하여 입력 비디오 데이터로부터 분할 및 식별된 적어도 하나의 객체에 대한 관련성 데이터를 생성하도록 구성된 프로세서; 및
    상기 관련성 데이터를 수신하고 상기 관련성 데이터에 기초하여 적어도 2개의 평면 중 하나의 평면에 이미지 데이터를 디스플레이하기 위한 데이터를 생성하는 디스플레이 프로세서를 포함하는, 장치.
  10. 제9항에 있어서,
    상기 디스플레이 프로세서는 3차원 또는 가상 현실 공간에서 적어도 2개의 평면 중 하나의 평면에 상기 이미지 데이터를 디스플레이하기 위한 데이터를 생성하는, 장치.
  11. 제9항에 있어서,
    상기 선호도 정보는 사용자 입력 및 저장된 프로파일 정보 중 적어도 하나에 기초하는, 장치.
  12. 제11항에 있어서,
    상기 사용자 입력은 검색 쿼리인, 장치.
  13. 제11항에 있어서,
    상기 선호도 정보는 적어도 하나의 사용자 입력 및 저장된 선호도 정보의 조합인, 장치.
  14. 제11항에 있어서,
    상기 적어도 하나의 객체는 상기 입력 비디오 데이터에 포함되는 객체들의 데이터베이스에 의해 식별된, 장치.
  15. 제11항에 있어서,
    분할된 상기 적어도 하나의 객체는 에지 검출 프로세스를 사용하여 분할되는, 장치.
  16. 제11항에 있어서,
    상기 선호도 정보는 상기 디스플레이를 통해 객체의 평면을 변경하는 사용자에 의해 변경되는, 장치.
KR1020177007764A 2014-09-22 2015-08-12 검색, 사용자 관심 또는 선호도의 지시자로서 깊이 지각의 사용 KR20170058942A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462053349P 2014-09-22 2014-09-22
US62/053,349 2014-09-22
PCT/US2015/044778 WO2016048465A1 (en) 2014-09-22 2015-08-12 Use of depth perception as indicator of search, user interest or preference

Publications (1)

Publication Number Publication Date
KR20170058942A true KR20170058942A (ko) 2017-05-29

Family

ID=54012276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177007764A KR20170058942A (ko) 2014-09-22 2015-08-12 검색, 사용자 관심 또는 선호도의 지시자로서 깊이 지각의 사용

Country Status (6)

Country Link
US (1) US11347793B2 (ko)
EP (1) EP3198473A1 (ko)
JP (1) JP2017535835A (ko)
KR (1) KR20170058942A (ko)
CN (1) CN107004004B (ko)
WO (1) WO2016048465A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159541B (zh) * 2019-12-11 2023-08-25 微民保险代理有限公司 一种帐号行为偏好的确定方法及装置
CN112612363A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 基于余光区域的用户非偏好比较方法和系统
US11334313B1 (en) * 2021-03-30 2022-05-17 Htc Corporation Managing conferences in virtual environment
CN113076436B (zh) * 2021-04-09 2023-07-25 成都天翼空间科技有限公司 一种vr设备主题背景推荐方法及系统
CN115423948B (zh) * 2022-11-04 2023-02-21 江西省映尚科技有限公司 Vr图像的处理方法、系统及可读存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664077A (en) * 1993-09-06 1997-09-02 Nec Corporation Three-dimensional graph displaying system
US6505194B1 (en) 2000-03-29 2003-01-07 Koninklijke Philips Electronics N.V. Search user interface with enhanced accessibility and ease-of-use features based on visual metaphors
KR100809308B1 (ko) 2000-03-29 2008-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자 프로파일들 및 검색 기준을 구성하고 관리하기위한 검색 사용자 인터페이스
GB0013702D0 (en) * 2000-06-07 2000-07-26 Meakes David Visual data interface
JP2002157269A (ja) * 2000-11-22 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 映像ポータルシステム及び映像提供方法
US7995810B2 (en) * 2005-06-24 2011-08-09 The University Of Iowa Research Foundation System and methods for image segmentation in n-dimensional space
CN101300621B (zh) * 2005-09-13 2010-11-10 时空3D公司 用于提供三维图形用户界面的系统和方法
US7870140B2 (en) * 2006-06-12 2011-01-11 D&S Consultants, Inc. System and method of incorporating user preferences in image searches
US8549436B1 (en) * 2007-06-04 2013-10-01 RedZ, Inc. Visual web search interface
JP2009080580A (ja) 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
CN101510291A (zh) 2008-02-15 2009-08-19 国际商业机器公司 多维数据的可视化方法及装置
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5359266B2 (ja) * 2008-12-26 2013-12-04 富士通株式会社 顔認識装置、顔認識方法及び顔認識プログラム
US9489403B2 (en) * 2009-04-09 2016-11-08 Nokia Technologies Oy Method and apparatus for providing visual search engine results
US8335784B2 (en) * 2009-08-31 2012-12-18 Microsoft Corporation Visual search and three-dimensional results
US20110063288A1 (en) 2009-09-11 2011-03-17 Siemens Medical Solutions Usa, Inc. Transfer function for volume rendering
JP4988012B2 (ja) 2010-06-15 2012-08-01 株式会社東芝 電子機器およびインデキシング制御方法
JP2012064200A (ja) * 2010-08-16 2012-03-29 Canon Inc 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
CN103562957B (zh) * 2011-05-31 2016-12-14 乐天株式会社 信息提供装置、信息提供方法以及信息提供系统
JP2013029451A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
US8799263B2 (en) * 2011-09-04 2014-08-05 Leigh M Rothschild Systems, devices, and methods for providing multidimensional search results
KR101855939B1 (ko) 2011-09-23 2018-05-09 엘지전자 주식회사 영상표시장치의 동작 방법
US8990201B1 (en) * 2011-11-03 2015-03-24 Google Inc. Image search results provisoning
US10032303B2 (en) * 2012-12-14 2018-07-24 Facebook, Inc. Scrolling 3D presentation of images
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements

Also Published As

Publication number Publication date
US11347793B2 (en) 2022-05-31
WO2016048465A1 (en) 2016-03-31
US20170300502A1 (en) 2017-10-19
JP2017535835A (ja) 2017-11-30
CN107004004A (zh) 2017-08-01
EP3198473A1 (en) 2017-08-02
CN107004004B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
KR20170058942A (ko) 검색, 사용자 관심 또는 선호도의 지시자로서 깊이 지각의 사용
Sjöberg et al. The MediaEval 2015 Affective Impact of Movies Task.
US11960533B2 (en) Visual search using multi-view interactive digital media representations
CN105373768B (zh) 提供图像内容的方法和设备
US9965793B1 (en) Item selection based on dimensional criteria
CN108776676B (zh) 信息推荐方法、装置、计算机可读介质及电子设备
US20150134651A1 (en) Multi-dimensional surround view based search
Tiwari et al. A survey of recent work on video summarization: approaches and techniques
CN107633023B (zh) 一种图像去重方法和装置
TWI781554B (zh) 物品名稱確定方法、裝置、電腦設備及儲存媒體
JP2011234226A (ja) 映像編集装置、映像編集方法及びプログラム
del Molino et al. Active video summarization: Customized summaries via on-line interaction with the user
US20210127178A1 (en) Presenting information on similar objects relative to a target object from a plurality of video frames
Baber et al. A framework for video segmentation using global and local features
Silva et al. Towards semantic fast-forward and stabilized egocentric videos
KR102592904B1 (ko) 영상 요약 장치 및 방법
Yeh et al. Relative features for photo quality assessment
WO2016032399A1 (en) Selecting adaptive secondary content based on a profile of primary content
CN106528800A (zh) 一种基于真实场景的影像生成方法及装置
CN114647801A (zh) 一种直播信息展示方法、装置以及计算机存储介质
Vendrig et al. Interactive adaptive movie annotation
US9305118B2 (en) Selecting search result images based on color
Giunchi et al. Model retrieval by 3d sketching in immersive virtual reality
Hu et al. Video summarization via exploring the global and local importance
CN110688563A (zh) 通信终端、内容服务器、内容推荐系统以及控制装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application