KR20200039169A - 멀티 뎁스 이미지 표시 장치 및 방법 - Google Patents

멀티 뎁스 이미지 표시 장치 및 방법 Download PDF

Info

Publication number
KR20200039169A
KR20200039169A KR1020180118728A KR20180118728A KR20200039169A KR 20200039169 A KR20200039169 A KR 20200039169A KR 1020180118728 A KR1020180118728 A KR 1020180118728A KR 20180118728 A KR20180118728 A KR 20180118728A KR 20200039169 A KR20200039169 A KR 20200039169A
Authority
KR
South Korea
Prior art keywords
content
tree
image
depth image
display
Prior art date
Application number
KR1020180118728A
Other languages
English (en)
Inventor
박정환
이종현
Original Assignee
주식회사 피제이팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피제이팩토리 filed Critical 주식회사 피제이팩토리
Priority to KR1020180118728A priority Critical patent/KR20200039169A/ko
Priority to EP19869163.6A priority patent/EP3863291A4/en
Priority to PCT/KR2019/012492 priority patent/WO2020071684A1/ko
Priority to JP2021518524A priority patent/JP7278645B2/ja
Priority to US17/282,892 priority patent/US11677929B2/en
Publication of KR20200039169A publication Critical patent/KR20200039169A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 실시예는, 메인 이미지에 하나 이상의 이미지들이 트리 구조로 삽입되고 상기 하나 이상의 이미지들 중 적어도 일부에 하나 이상의 개체가 매핑된 멀티 뎁스 이미지를 표시하는 방법에 있어서, 상기 멀티 뎁스 이미지의 트리 구조로부터 적어도 하나의 콘텐츠 트리를 생성하는 단계 및 상기 콘텐츠 트리 각각에 대응하는 디스플레이 영역을 구성하는 단계를 포함하되, 상기 디스플레이 영역은, 상기 콘텐츠 트리의 노드들에 대응하는 이미지들을 표시하기 위한 제1 영역 및 상기 콘텐츠 트리의 노드들에 대응하는 개체들 또는 상기 개체들의 재생 UI를 상기 제1 영역에 표시된 이미지와 동기화시켜 표시하기 위한 제2 영역을 포함하는 것을 특징으로 하는 멀티 뎁스 이미지 표시 방법을 제공한다.

Description

멀티 뎁스 이미지 표시 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING MULTI-DEPTH IMAGE}
본 발명은 멀티 뎁스 이미지 표시 장치 및 방법에 관한 것으로서, 보다 구체적으로는 멀티 뎁스 이미지를 마이크로 블로그 형식 및 피드 형식 중 어느 한 형식으로 선택적으로 표시할 수 있는 멀티 뎁스 이미지 표시 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
멀티 뎁스 이미지(multi-depth image)란 기본이 되는 하나의 이미지(이하, '메인 이미지'라고 칭함)에 추가적인 정보를 제공하는 하나 이상의 다른 이미지(이하, '서브 이미지'라고 칭함)가 삽입된 새로운 포맷의 이미지를 말한다. 멀티 뎁스 이미지는, 스마트폰 등과 같은 소화면의 휴대용 전자 장치에서, 사용자가 세부 상세 이미지를 손쉽게 획득할 수 있도록 도와준다.
한편, 멀티 뎁스 이미지를 구성하는 각 이미지의 구체적인 내용은 해당 이미지 만으로는 정확하게 전달되기 어려우므로, 해당 이미지를 다양한 개체(object), 예컨대 텍스트, 비디오 등과 함께 디스플레이 화면에 표시함으로써 사용자에게 효과적으로 정보를 전달할 필요가 있다.
또한, 특정 주제에 대한 사용자의 관심 순위나 흥미도는 사용자 별로 서로 다를 수 있으므로, 멀티 뎁스 이미지의 표시 순서를 사용자의 기호에 맞게 수정할 필요가 있다.
이러한 필요성에 기초하여, 본 실시예는 멀티 뎁스 이미지를 사용자의 선택에 따라 마이크로 블로그 형식 또는 피드 형식으로 디스플레이 화면에 표시함으로써 사용자 편의를 제고할 수 있는 멀티 뎁스 이미지 표시 장치 및 방법을 제공하고자 한다.
본 실시예의 일 측면에 의하면, 메인 이미지에 하나 이상의 이미지들이 트리 구조로 삽입되고 상기 하나 이상의 이미지들 중 적어도 일부에 하나 이상의 개체가 매핑된 멀티 뎁스 이미지를 표시하는 방법에 있어서, 상기 멀티 뎁스 이미지의 트리 구조로부터 적어도 하나의 콘텐츠 트리를 생성하는 단계; 및 상기 콘텐츠 트리 각각에 대응하는 디스플레이 영역을 구성하는 단계를 포함하되, 상기 디스플레이 영역은, 상기 콘텐츠 트리의 노드들에 대응하는 이미지들을 표시하기 위한 제1 영역 및 상기 콘텐츠 트리의 노드들에 대응하는 개체들 또는 상기 개체들의 재생 UI를 상기 제1 영역에 표시되는 이미지와 동기화시켜 표시하기 위한 제2 영역을 포함하는 것을 특징으로 하는 멀티 뎁스 이미지 표시 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 멀티 뎁스 이미지의 메인 이미지에 하나 이상의 이미지들이 트리 구조로 삽입되고 상기 하나 이상의 이미지들 중 적어도 일부에 하나 이상의 개체를 매핑하는 트리구조 구성부; 상기 멀티 뎁스 이미지의 트리 구조로부터 적어도 하나의 콘텐츠 트리를 생성하고, 상기 콘텐츠 트리 각각에 대응하는 디스플레이 영역을 구성하는 디스플레이 영역 설정부; 및 상기 디스플레이 영역에 상기 멀티 뎁스 이미지를 표시하는 디스플레이부를 포함하되, 상기 디스플레이 영역은, 상기 콘텐츠 트리의 노드들에 대응하는 이미지들을 표시하기 위한 제1 영역 및 상기 콘텐츠 트리의 노드들에 대응하는 개체들 또는 상기 개체들의 재생 UI를 상기 제1 영역에 표시되는 이미지와 동기화시켜 표시하기 위한 제2 영역을 포함하는 것을 특징으로 하는 멀티 뎁스 이미지 표시 장치를 제공한다.
본 실시예에 따른 멀티 뎁스 이미지 표시 장치 및 방법은 사용자의 선택에 따라 마이크로 블로그 형식 또는 피드 형식으로 멀티 뎁스 이미지를 표시함으로써, 사용자 편의 및 정보 전달력을 향상시킬 수 있는 효과가 있다.
또한, 본 실시예에 따른 멀티 뎁스 이미지 표시 장치 및 방법은 기 설정된 멀티 뎁스 이미지의 계층 순서를 사용자가 임의로 변경할 수 있게 함으로써, 사용자 맞춤형 정보 전달을 가능하게 하는 효과가 있다.
본 발명의 효과는 전술한 효과들에 한정되지 않으며, 언급되지 않은 다른 효과들이 아래의 기재로부터 통상의 기술자에게 자명하게 도출될 수 있을 것이다.
도 1은 멀티 뎁스 이미지의 트리 구조를 나타낸 예시도이다.
도 2는 멀티 뎁스 이미지를 구성하는 실제 이미지들을 나타낸 예시도이다.
도 3은 본 실시예에 따른 멀티 뎁스 이미지 표시 장치의 구성을 나타낸 블록도이다.
도 4는 멀티 뎁스 이미지의 디스플레이 영역을 나타낸 도면이다.
도 5a는 멀티 뎁스 이미지의 트리구조가 분할되지 않은 경우 디스플레이 영역을 나타내는 도면이다.
도 5b는 멀티 뎁스 이미지의 트리구조가 분할된 경우 디스플레이 영역을 나타내는 도면이다.
도 6은 멀티 뎁스 이미지에 관한 트리구조의 분할 형태를 나타내는 예시도이다.
도 7a는 멀티 뎁스 이미지의 노드에 텍스트가 매핑된 경우 표시형태를 나타낸 예시도이다.
도 7b는 멀티 뎁스 이미지의 노드에 비디오가 매핑된 경우 표시형태를 나타낸 예시도이다.
도 8은 본 실시예에 따른 멀티 뎁스 이미지를 표시하는 방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부,' '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예들에 대해서 보다 상세하게 설명하기로 한다.
도 1은 멀티 뎁스 이미지의 트리 구조의 나타낸 예시도이다.
도 1을 참조하면, 멀티 뎁스 이미지는 하나의 메인 이미지와 복수의 서브 이미지들로 구성될 수 있다. 멀티 뎁스 이미지의 복수의 이미지들은 세부 주제(specific subject)나 문맥(context) 등을 고려하여 계층화된 후 노드들을 구성함으로써 하나의 트리 구조를 형성할 수 있다. 이 때, 메인 이미지는 트리 구조의 루트 노드에 삽입될 수 있고, 서브 이미지들은 하위 노드들에 각각 삽입될 수 있다.
도 1은 자동차를 주제로 하는 멀티 뎁스 이미지의 트리 구조를 예시적으로 나타낸다. 구체적으로, 자동차의 전체 외관을 나타내는 이미지는 메인 이미지로서 루트 노드에 삽입된다. 자동차의 구성 부품인 헤드라이트 및 바퀴에 관한 이미지들은 서브 이미지로서 루트 노드의 자식 노드인 레벨 1의 노드들에 각각 삽입된다. 이 경우, 헤드라이트의 구성 부품인 전구 및 반사경에 관한 이미지들은 서브 이미지로서 헤드라이트 노드의 자식 노드인 레벨 2의 노드들에 각각 삽입된다. 또한, 바퀴의 구성 부품인 타이어 및 타이어 휠에 관한 이미지들은 서브 이미지로서 바퀴 노드의 자식 노드인 레벨 2의 노드들에 각각 삽입된다. 결과적으로, 자동차 노드 아래에 헤드라이트 노드 및 바퀴 노드가 위치하고, 헤드라이트 노드 아래에 전구 노드 및 반사경 노드가 위치하며, 바퀴 노드 아래에 타이어 노드 및 타이어휠 노드가 위치한다. 그리고, 이와 같은 방식으로, 복수의 서브 이미지들은 트리 구조의 각 하위 노드에 계속해서 삽입될 수 있다.
멀티 뎁스 이미지는 도 1에 예시된 트리 구조에서 부모 노드의 개체에 자식 노드의 개체가 삽입된 형태의 이미지 포맷이다. 부모 노드의 개체에 자식 노드의 개체가 삽입될 때 삽입되는 개체는 일반적으로 이미지이다. 그러나, 이미지 외에도 동영상, 텍스트, 음성, 다른 파일에 대한 링크, 인터넷 주소 링크, 북마크, 360 영상, 3D 오브젝트 등 다양한 개체가 자식 노드의 개체로서 부모 노드의 개체에 삽입될 수 있다. 이하, 멀티 뎁스 이미지의 각 노드에 삽입되는 개체는 모두 이미지인 것을 전제로 본 실시예를 설명하기로 한다. 다만, 이는 설명의 편의를 위한 것일 뿐, 본 실시예를 한정하는 것은 아니라는 점에 유의하여야 한다.
도 1에 예시된 트리 구조에서 부모 노드의 이미지(이하, '부모 이미지'라고 칭함)의 적절한 위치에 자식 노드의 이미지(이하, '자식 이미지'라고 칭함)를 삽입함으로써 멀티 뎁스 이미지를 생성할 수 있다. 부모 이미지의 적절한 위치에 자식 이미지를 삽입하는 방법으로서, 부모 이미지와 자식 이미지를 비교한 후 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지를 삽입하는 방법을 사용할 수 있다.
멀티 뎁스 이미지의 트리 구조에서, 각 노드에는 멀티미디어 콘텐츠가 추가적으로 매핑될 수 있다. 여기서, 멀티미디어 콘텐츠는 각 노드에 삽입된 이미지와 관련된 디지털 콘텐츠로서, 텍스트, 비디오, 오디오 등 다양한 유형의 개체들을 포함할 수 있다. 예컨대, 도 1의 트리 구조에서, 헤드라이트 노드에는 제조사, 휘도, 수명 등의 스펙 정보를 나타내는 텍스트가 매핑될 수 있다. 타이어 휠 노드에는 재질, 제조방식 등의 스펙 정보를 나타내는 텍스트가 매핑될 수 있다. 또한, 타이어 휠 노드에는 자동차 주행 중 타이어 휠의 모습을 나타내는 동영상이 추가 매핑될 수 있다. 각각의 경우에 있어, 각 노드에 삽입된 이미지와 이에 매핑된 멀티미디어 콘텐츠는 상호 동기화되어 서로 다른 영역에 표시될 수 있으며, 이에 대해서는 상세하게 후술하기로 한다.
멀티 뎁스 이미지의 트리 구조에서, 각 구성 이미지 및 관련 멀티미디어 콘텐츠는 드래그 앤 드롭 방식이나 파일 탐색기를 이용한 입력 방식 등 다양한 방식을 이용하여 각각의 노드에 삽입 또는 매핑될 수 있다.
도 2는 멀티 뎁스 이미지를 구성하는 실제 이미지들을 나타낸 예시도이다.
도 2를 참조하면, 자동차에 대한 멀티 뎁스 이미지(200)는 자동차 전체 이미지(210), 헤드라이트 이미지(220), 전구 이미지(221), 반사경 이미지(222), 바퀴 이미지(230), 타이어휠 이미지(231) 및 타이어 이미지(232)를 포함할 수 있다.
각각의 이미지에서 다른 이미지가 삽입되어 있음을 나타내는 아이콘(도 2에서 '⊙' 모양의 아이콘)을 클릭 또는 터치하는 경우, 삽입된 이미지가 표시될 수 있다.
도 2에 나타낸 바와 같이, 멀티 뎁스 이미지는, 자동차 전체 이미지(210)에서 헤드라이트 이미지(220)와 유사한 특징이 발견된 위치에 헤드라이트 이미지(220)가 삽입되고, 자동차 전체 이미지(210)에서 바퀴 이미지(230)와 유사한 특징이 발견된 위치에 바퀴 이미지(230)가 삽입된다. 멀티 뎁스 이미지는, 헤드라이트 이미지(220)에서 전구 이미지(221)와 유사한 특징이 발견된 위치에 전구 이미지(221)가 삽입되고, 헤드라이트 이미지(220)에서 반사경 이미지(222)와 유사한 특징이 발견된 위치에 반사경 이미지(222)가 삽입된다. 또한, 멀티 뎁스 이미지는, 바퀴 이미지(230)에서 타이어휠 이미지(231)와 유사한 특징이 발견된 위치에 타이어휠 이미지(231)가 삽입되고, 바퀴 이미지(230)에서 타이어 이미지(232)와 유사한 특징이 발견된 위치에 타이어 이미지(232)가 삽입된다. 다만, 반드시 부모 이미지에서 자식 이미지의 특징이 발견된 위치에 자식 이미지가 삽입되어야 하는 것은 아니고, 부모 이미지의 어느 위치에든 자식 이미지가 삽입된 구조이기만 하면 멀티 뎁스 이미지가 된다.
이하, 첨부된 도면을 참조하여, 본 실시예에 따른 멀티 뎁스 이미지 표시 장치 및 표시 방법에 대해 상세하게 설명하기로 한다.
도 3은 본 실시예에 따른 멀티 뎁스 이미지 표시 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 멀티 뎁스 이미지 표시 장치(300)는 트리구조 구성부(310), 디스플레이 영역 설정부(330) 및 디스플레이부(350)를 포함할 수 있다. 또한, 멀티 뎁스 이미지 표시 장치(300)는 저장부(370)를 더 포함할 수 있다. 여기서, 트리구조 구성부(310), 디스플레이 영역 설정부(330) 및 디스플레이부(350)는 각각 별개의 모듈을 구성하거나 각각의 기능이 병합된 복수의 모듈을 구성할 수 있으며, 하드웨어 또는 소프트웨어로 구현되거나 양자의 조합으로 구현될 수도 있다.
트리구조 구성부(310)는 멀티 뎁스 이미지를 구성하는 복수의 이미지들 및 각각의 이미지에 대응하는 멀티미디어 콘텐츠를 이용하여 트리구조를 구성할 수 있다. 구체적으로, 트리구조 구성부(310)는 멀티 뎁스 이미지의 메인 이미지를 루트 노드에 삽입하고, 멀티 뎁스 이미지의 서브 이미지들을 루트 노드의 하위 노드들 각각에 계층적으로 삽입할 수 있다. 또한, 트리구조 구성부(310)는 멀티 뎁스 이미지의 구성 이미지들이 삽입된 각 노드에 사용자로부터 입력된 멀티미디어 콘텐츠를 매핑시킬 수 있다. 여기서, 멀티미디어 콘텐츠는 각 노드에 삽입된 이미지들과 관련된 디지털 콘텐츠로서, 텍스트, 오디오/비디오 등 다양한 유형의 개체들을 포함할 수 있다. 트리구조 구성부(310)에 의해 구성된 멀티 뎁스 이미지에 관한 트리구조의 일 예는 도 1 및 도 2를 참조하여 전술한 바와 같다.
디스플레이 영역 설정부(330)는 멀티 뎁스 이미지의 트리구조로부터 하나 이상의 콘텐츠 트리를 생성한 후, 생성된 콘텐츠 트리에 기초하여 하나 이상의 디스플레이 영역을 설정할 수 있다.
디스플레이 영역 설정부(330)는 멀티 뎁스 이미지의 트리구조로부터 하나 이상의 콘텐츠 트리를 구성할 수 있다. 예컨대, 디스플레이 영역 설정부(330)는 멀티 뎁스 이미지에 관한 트리구조의 모든 노드들 및 연결관계를 그대로 포함하는 하나의 콘텐츠 트리를 구성할 수 있다. 또는, 디스플레이 영역 설정부(330)는 멀티 뎁스 이미지에 관한 기본 트리구조를 복수의 서브 트리들로 분할한 후, 분할로 생성된 각 서브 트리로부터 복수 개의 콘텐츠 트리를 구성할 수도 있다.
디스플레이 영역 설정부(330)는 구성된 콘텐츠 트리를 이용하여 멀티 뎁스 이미지 및 관련 멀티미디어 콘텐츠를 표시하기 위한 디스플레이 영역을 설정할 수 있다. 멀티 뎁스 이미지 및 관련 멀티미디어 콘텐츠를 표시하기 위한 디스플레이 영역은 도 4에 도시된 바와 같다.
도 4는 멀티 뎁스 이미지의 디스플레이 영역을 나타내는 도면이다.
도 4를 참조하면, 멀티 뎁스 이미지의 디스플레이 영역(400)은 이미지를 표시하기 위한 제1 영역(410) 및 해당 이미지에 매핑된 멀티미디어 콘텐츠를 표시하기 위한 제2 영역(430)을 포함할 수 있다.
제1 영역(410)에는 멀티 뎁스 이미지를 구성하는 복수의 이미지들이 표시될 수 있다. 예컨대, 사용자의 특별한 액션(예: 멀티 뎁스 이미지 내의 이미지 삽입 아이콘 클릭 등)이 없는 초기 상태에서, 제1 영역(410)에는, 멀티 뎁스 이미지의 루트 노드에 삽입된 메인 이미지가 표시될 수 있다. 그리고, 멀티 뎁스 이미지의 하위 노드에 삽입된 서브 이미지들 중 어느 하나가 사용자의 아이콘 클릭 또는 터치 등으로 통해 선택된 경우, 제1 영역(410)에는 선택된 서브 이미지가 표시될 수 있다. 제1 영역(410)에 표시되는 멀티 뎁스 이미지의 구성 이미지는 사용자의 디테일 아이콘 클릭 또는 마우스 휠 동작을 통해 확대 또는 축소될 수 있다. 도 4에서 제1 영역(410)에 표시된 이미지의 '○T' 아이콘은 이미지 확대 또는 축소를 위한 디테일 아이콘을 나타낸다.
제2 영역(430)에는 제1 영역(410)에 표시된 이미지에 대응하는 멀티미디어 콘텐츠가 해당 이미지와 동기화되어 표시될 수 있다. 이 때, 멀티미디어 콘텐츠는 도 1을 참조하여 전술한 바와 같이, 이미지 노드에 매핑된 텍스트, 비디오 등 다양한 개체(object)들을 포함할 수 있다.
멀티미디어 콘텐츠가 텍스트인 경우, 제2 영역(430)에는 해당 텍스트가 제1 영역(410)의 이미지와 동기화되어 스크롤 방식 등을 이용하여 표시될 수 있다.
멀티미디어 콘텐츠가 비디오/오디오인 경우, 제2 영역(430)에는 해당 비디오/오디오를 재생하기 위한 플레이어, 컨트롤러 등의 재생 UI(User Interface)가 제1 영역(410)의 이미지와 동기화되어 표시될 수 있다. 이 경우, 해당 비디오는 멀티 뎁스 이미지의 전체 디스플레이 화면 중 임의의 위치에서 디스플레이 영역(400)에 오버레이되어 재생될 수 있고, 해당 오디오는 백그라운드로 재생될 수 있다. 그리고, 각각의 경우에, 사용자는 제2 영역(430)에 표시된 재생 UI를 이용하여 해당 비디오 또는 오디오의 재생을 제어(예: pause, stop 등)할 수 있다.
디스플레이 영역 설정부(330)는 콘텐츠 트리의 구성 개수만큼 멀티 뎁스 이미지 및 관련 멀티미디어 콘텐츠를 표시하기 위한 디스플레이 영역을 설정할 수 있다. 즉, 멀티 뎁스 이미지에 관한 트리구조로부터 n 개의 콘텐츠 트리가 구성된 경우, 디스플레이 영역 설정부(330)는 n 개의 디스플레이 영역을 설정할 수 있다. n개의 디스플레이 영역 각각은 제1 영역과 제2 영역을 포함한다. 여기서, n은 1 이상의 정수이다. 멀티 뎁스 이미지에 관한 트리구조의 분할 여부에 따른 디스플레이 영역의 설정예는 도 5에 도시된 바와 같다.
도 5a는 멀티 뎁스 이미지의 트리구조가 분할되지 않은 경우 디스플레이 영역을 나타내는 도면이고, 도 5b는 멀티 뎁스 이미지의 트리구조가 분할된 경우 디스플레이 영역을 나타내는 도면이다.
도 5a를 참조하면, 멀티 뎁스 이미지의 트리구조가 분할되지 않는 경우, 해당 멀티 뎁스 이미지의 디스플레이 영역(510)은 제1 영역(511) 및 제2 영역(513)을 포함하는 한 개의 영역으로 구성될 수 있다. 제1 영역(511)에는, 멀티 뎁스 이미지를 구성하는 전체 이미지들이 메인 이미지부터 시작하여 사용자의 선택에 따른 특정 서브 이미지들 순으로 표시될 수 있다. 또한, 제2 영역(513)에는 제1 영역(511)의 이미지와 동기화된 멀티미디어 콘텐츠(예: 텍스트, 비디오 등)가 표시될 수 있다. 제1 영역(511)에 멀티 뎁스 이미지의 서브 이미지가 표시되는 경우, 제1 영역(511) 및 제2 영역(513) 중 적어도 하나의 영역에는, 멀티 뎁스 이미지 내의 상위 토픽(즉, 트리구조의 루트 노드 또는 분기 노드)으로 되돌아가기 위한 백워드 메뉴(backward menu, 미도시), 예컨대 백워드 아이콘이 표시될 수 있다.
도 5b를 참조하면, 멀티 뎁스 이미지의 트리구조가 복수의 콘텐츠 트리로 분할되는 경우, 해당 멀티 뎁스 이미지의 디스플레이 영역(530, 550)은 각각 제1 영역(531, 551) 및 제2 영역(533, 553)을 포함할 수 있다. 도 5a의 경우와 마찬가지로, 제1 영역(531, 551)에는 트리 분할로 생성된 각 서브 트리의 노드들에 삽입된 구성 이미지들이 표시되며, 제2 영역(533, 553)에는 각 제1 영역(531, 551)에 표시된 이미지에 대응하는 멀티미디어 콘텐츠가 제1 영역(531, 551)의 이미지와 동기화되어 표시될 수 있다. 또한, 제1 영역(531, 551)에 각 서브 트리의 하위 노드들에 삽입된 구성 이미지들이 표시되는 경우, 제1 영역(531, 551) 및 제2 영역(533, 553) 중 적어도 하나의 영역에는, 해당 서브 트리 내의 상위 토픽(즉, 해당 서브 트리의 루트 노드 또는 분기 노드)으로 되돌아가기 위한 백워드 아이콘(backward menu, 미도시)이 표시될 수 있다. 각각의 디스플레이 영역(530, 550)은 순차적으로 표시된다. 디스플레이 영역들(530, 550)이 한 화면에 모두 표시되지 않을 때, 사용자는 화면 스크롤을 통해 각 디스플레이 영역들을 순차적으로 확인할 수 있다. 멀티 뎁스 이미지의 트리구조가 복수의 콘텐츠 트리로 분할됨에 따라 복수의 디스플레이 영역이 생성될 때, 그 디스플레이 영역들 간의 표시 순서를 정하는 방법은 후술한다.
멀티 뎁스 이미지의 트리구조를 분할하는 방법은 도 6에 도시된 바와 같다.
도 6은 멀티 뎁스 이미지에 관한 트리구조의 분할 형태를 나타내는 예시도이다.
도 6을 참조하면, 멀티 뎁스 이미지의 트리구조는 분기 노드를 기준으로 복수의 서브 트리들로 분할될 수 있다. 이 때, 트리구조는, 도 6의 (a)와 같이 분기 노드를 공유하는 중첩된 서브 트리들로 분할될 수도 있고, 도 6의 (b)와 같이 서로 중첩되지 않도록 분기 노드를 기준으로 분할될 수도 있다.
또는, 멀티 뎁스 이미지의 트리구조는 사용자에 의해 분할될 수도 있다. 예컨대, 분기 노드가 아닌 사용자가 원하는 방식으로 멀티 뎁스 이미지의 트리구조를 분할할 수 있다. 또는, 분기 노드를 기준으로 분할된 복수의 서브 트리들을 사용자의 선택에 따라 서로 통합하거나 또는 추가로 더 분할할 수 있다. 그 분할 정보는 해당 멀티 뎁스 이미지 정보와 매핑되어 저장부(370), 예컨대, 비휘발성 메모리에 저장됨으로써 향후 동일한 이미지를 다시 표시할 때 이용될 수 있다.
다시 도 3으로 돌아와, 디스플레이부(350)는 디스플레이 영역 설정부(330)에 의해 설정된 디스플레이 영역에 멀티 뎁스 이미지의 구성 이미지 및 관련 멀티미디어 콘텐츠를 표시할 수 있다. 구체적으로, 디스플레이부(350)는, 디스플레이 영역의 제1 영역에, 콘텐츠 트리의 각 노드에 해당하는 구성 이미지들을, 메인 이미지로부터 서브 이미지까지 순차적으로 표시할 수 있다.
본 실시예의 일 측면에 따르면, 디스플레이부(350)는 콘텐츠 트리의 구성 이미지들을 디스플레이 영역의 제1 영역에 깊이우선탐색(depth first search) 방식으로 표시할 수 있다. 통상적으로, 멀티 뎁스 이미지들은 스토리를 가지고 트리 구조로 생성된다. 상위 노드와 하위 노드 간에는 인과관계의 스토리가 존재한다. 반면, 트리 구조에서 같은 뎁스(depth)에 존재하는 노드들은 인과관계의 스토리보다는 대등한 관계의 스토리를 가진다. 따라서, 너비우선탐색(breadth first search)으로 콘텐츠 트리의 구성 이미지들을 제1 영역에 표시하는 경우, 제1 영역과 동기화되어 표시되는 제2 영역의 텍스트들은 인과관계가 성립하지 않아 스토리 전개가 부자연스럽게 된다. 따라서, 본 실시예는 깊이우선탐색 방식을 사용한다.
또한, 디스플레이부(350)는 콘텐츠 트리의 각 브랜치(branch)의 뎁스(depth) 수, 각 브랜치에 포함된 이미지 또는 텍스트의 생성시간, 및 각 브랜치에 포함된 텍스트로부터 검색된 연관 키워드들의 개수 중 적어도 하나에 기초하여 해당 콘텐츠 트리의 구성 브랜치들의 표시 순서를 결정할 수 있다. 예컨대, 특정 콘텐츠 트리가 2개의 브랜치들로 구성되는 경우, 디스플레이부(350)는 해당 브랜치들 중 뎁스 수가 큰 브랜치의 노드들에 삽입된 이미지들을 다른 브랜치보다 먼저 제1 영역에 표시할 수 있다. 또한, 특정 콘텐츠 트리가 2개의 브랜치들로 구성되는 경우, 디스플레이부(350)는 해당 브랜치들에 포함된 텍스트들의 연관 키워드 개수가 많은 브랜치의 노드들에 삽입된 이미지들을 다른 브랜치보다 먼저 제1 영역에 표시할 수도 있다. 다만, 이는 예시적인 것이고 본 실시예가 이에 한정되는 것은 아님에 유의하여야 한다. 즉, 디스플레이부(350)는 특정 콘텐츠 트리의 구성 브랜치들 중에서 연관 키워드 개수가 적은 브랜치의 노드들에 삽입된 이미지들을 다른 브랜치보다 먼저 제1 영역에 표시할 수도 있다.
디스플레이 영역 설정부(330)에 의해 설정된 제1 영역에의 이미지 표시 순서는 사용자의 선택에 따라 임의로 변경될 수 있다. 예컨대, 사용자는 콘텐츠 트리를 구성하는 복수의 브랜치들의 표시 순서 또는 각 브랜치에 포함된 노드들의 순서를 변경함으로써, 제1 영역에의 이미지 표시 순서를 임의 변경할 수 있다.
디스플레이부(350)는, 디스플레이 영역의 제2 영역에, 제1 영역에 표시된 구성 이미지와 관련된 멀티미디어 콘텐츠(예: 텍스트, 비디오 등)를 해당 구성 이미지와 동기화시켜 표시할 수 있다.
표시될 멀티미디어 콘텐츠가 텍스트인 경우, 디스플레이 영역의 제2 영역에는 해당 텍스트가 스크롤링 방식으로 표시될 수 있으며, 그 구체적인 일 예는 도 7a에 도시된 바와 같다. 도 7a를 참조하면, 디스플레이 영역(710)의 제1 영역(711)에는 멀티 뎁스 이미지의 구성 이미지가 표시될 수 있다. 또한, 제2 영역(713)에는 제1 영역(711)에 표시된 이미지에 매핑된 텍스트가 제1 영역(711)의 이미지와 동기화되어 스크롤 방식을 이용하여 표시될 수 있다.
표시될 멀티미디어 콘텐츠가 비디오/오디오인 경우, 디스플레이 영역의 제2 영역에는 해당 비디오/오디오를 재생하기 위한 플레이어, 컨트롤러 등의 재생 UI(User Interface)가 표시될 수 있으며, 그 구체적인 일 예는 도 7b에 도시된 바와 같다. 도 7b를 참조하면, 디스플레이 영역(730)의 제1 영역(731)에는 멀티 뎁스 이미지의 구성 이미지가 표시될 수 있다. 또한, 제2 영역(733)에는 제1 영역(731)에 표시된 이미지에 매핑된 비디오를 재생하는 데 이용되는 플레이어가 표시될 수 있다. 이 경우, 해당 비디오는 멀티 뎁스 이미지의 전체 디스플레이 화면 중 임의의 위치에서 디스플레이 영역(733)에 오버레이되어 재생될 수 있다.
저장부(370)는 멀티 뎁스 이미지의 분할 정보를 해당 이미지 정보와 매핑시켜 저장하기 위해 필요한 구성요소로서, 비휘발성 메모리(예: NAND 플래쉬 메모리) 또는 휘발성 메모리(예: DRAM) 등을 포함할 수 있다.
멀티 뎁스 이미지에 관한 트리구조의 분할 여부 및 분할 횟수 등의 분할 정보는 해당 멀티 뎁스 이미지 정보에 매핑되어 저장부(370)에 저장된 후 다음번 이미지 표시를 위해 이용될 수 있다.
한편, 멀티 뎁스 이미지의 트리 구조가 복수의 콘텐츠 트리로 분할되는 경우, 콘텐츠 트리들이 멀티 뎁스 이미지의 트리 구조에서 차지하는 뎁스(레벨)을 기준으로 표시 순서가 결정된다. 멀티 뎁스 이미지의 트리 구조에서 상위 뎁스를 차지하는 콘텐츠 트리의 디스플레이 영역이 먼저 표시된다. 그러나 동일한 뎁스를 가지는 콘텐츠 트리들이 존재할 수 있다. 예컨대, 동일한 분기 노드로부터 하위로 분기되는 콘텐츠 트리들은 부모 노드의 뎁스가 동일하므로 동일한 뎁스로 분류될 수 있다. 동일한 분기 노드로부터 하위로 분기되는 콘텐츠 트리들의 디스플레이 영역은 다음 중 하나 이상을 기준으로 표시 순서가 정해질 수 있다.
(1) 하위로 분기되는 콘텐츠 트리들 각각의 뎁스(레벨) 수,
(2) 하위로 분기되는 콘텐츠 트리들에 포함된 이미지 또는 텍스트가 생성된 시간
(3) 하위로 분기되는 콘텐츠 트리들 각각에 포함된 텍스트들로부터 검색된 연관 키워드들의 개수
물론, 전술한 바와 같이, 사용자의 선택에 따라 각 콘텐츠 트리의 디스플레이 영역들의 표시 순서는 변경될 수 있다.
도 8은 본 실시예에 따른 멀티 뎁스 이미지를 표시하는 방법을 나타낸 흐름도이다.
도 3 및 도 8을 참조하면, 단계 S810에서, 트리구조 구성부(310)는 멀티 뎁스 이미지를 구성하는 복수의 이미지들 및 각각의 이미지에 대응하는 멀티미디어 콘텐츠를 이용하여 트리구조를 구성할 수 있다. 해당 트리구조의 각 노드에는 멀티 뎁스 이미지의 메인 이미지 및 서브 이미지가 계층적으로 삽입되며, 이미지가 삽입된 각 노드에는 해당 이미지와 관련된 멀티미디어 콘텐츠, 예컨대 텍스트, 오디오/비디오 등 다양한 유형의 개체(object)들이 매핑될 수 있다.
단계 S820에서, 디스플레이 영역 설정부(330)는 멀티 뎁스 이미지의 트리구조로부터 하나 이상의 콘텐츠 트리를 생성할 수 있다.
멀티 뎁스 이미지의 트리구조가 n 개(여기서, n은 1 이상의 정수)의 서브 트리로 분할되어 복수의 콘텐츠 트리가 생성되는 경우, 2 이상의 콘텐츠 트리가 하나의 분기 노드를 공유할 수 있다. 즉, 트리구조는 분기 노드를 공유하는 중첩된 서브 트리들(nested subtrees)로 분할될 수 있고, 분기 노드를 공유하지 않는 비중첩 서브 트리들(non-nested subtrees)로 분할될 수도 있다. 멀티 뎁스 이미지의 트리구조는 디스플레이 영역에 이미지가 도시되기 전에 사용자에 의해 미리 분할될 수 있으며, 그 분할 정보는 해당 멀티 뎁스 이미지 정보와 매핑되어 저장부(370), 예컨대, 비휘발성 메모리에 저장됨으로써 향후 동일한 이미지를 표시할 때 다시 이용될 수 있다.
단계 S830에서, 디스플레이 영역 설정부(330)는 단계 S820에서 생성된 콘텐츠 트리를 이용하여 하나 이상의 디스플레이 영역을 구성할 수 있다. 여기서, 각각의 디스플레이 영역은 이미지를 표시하기 위한 제1 영역 및 해당 이미지와 관련된 멀티미디어 콘텐츠를 표시하기 위한 제2 영역을 포함할 수 있다.
구체적으로, 디스플레이 영역 설정부(330)는 멀티 뎁스 이미지에 관한 트리구조의 모든 노드들 및 연결관계를 그대로 포함하는 하나의 콘텐츠 트리를 구성할 수 있다. 이 경우, 디스플레이 영역 설정부(330)는 멀티 뎁스 이미지를 표시하기 위한 한 개의 디스플레이 영역을 설정할 수 있다.
또한, 디스플레이 영역 설정부(330)는 멀티 뎁스 이미지에 관한 기본 트리구조를 n 개(여기서, n은 1 이상의 정수)의 서브 트리들로 분할한 후, 분할로 생성된 각 서브 트리를 별개의 콘텐츠 트리로 구성할 수 있다. 이 경우, 디스플레이 영역 설정부(330)는 멀티 뎁스 이미지를 표시하기 위한 n 개의 디스플레이 영역을 설정할 수 있다.
단계 S840에서, 디스플레이부(350)는 단계 S830에서 설정된 디스플레이 영역에 멀티 뎁스 이미지를 표시할 수 있다. 구체적으로, 디스플레이부(350)는 각 디스플레이 영역의 제1 영역에 멀티 뎁스 이미지의 구성 이미지를 표시하고, 각 디스플레이 영역의 제2 영역에는 제1 영역에 표시된 이미지에 매핑된 멀티미디어 콘텐츠를 제1 영역과 동기화시켜 표시할 수 있다.
멀티미디어 콘텐츠가 텍스트인 경우, 제2 영역(430)에는 해당 텍스트가 제1 영역(410)의 이미지와 동기화되어 스크롤 방식 등을 이용하여 표시될 수 있다.
멀티미디어 콘텐츠가 비디오/오디오인 경우, 제2 영역(430)에는 해당 비디오/오디오를 재생하기 위한 플레이어, 컨트롤러 등의 재생 UI(User Interface)가 제1 영역(410)의 이미지와 동기화되어 표시될 수 있다. 이 경우, 해당 비디오는 멀티 뎁스 이미지의 전체 디스플레이 화면 중 임의의 위치에서 디스플레이 영역(400)에 오버레이되어 재생될 수 있고, 해당 오디오는 백그라운드로 재생될 수 있다. 그리고, 각각의 경우에, 사용자는 제2 영역(430)에 표시된 재생 UI를 이용하여 해당 비디오 또는 오디오의 재생을 제어(예: pause, stop 등)할 수 있다.
이상 도 8에서는, 복수의 과정을 순차적으로 수행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서, 도 8에 기재된 순서를 변경하여 수행하거나 상기 복수의 과정 중 일부를 병렬적으로 수행하는 것으로 다양하게 수정 및 변경하여 적용 가능할 것이므로, 도 8은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 8에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
한편, 이상에서는 제1 영역의 표시되는 이미지가 변경되면, 제2 영역에 그 이미지에 대응하는 텍스트 등이 동기화되어 표시되는 것으로 설명하였으나, 그 반대로 가능하다. 예컨대, 스크롤을 통해 제2 영역에 표시된 텍스트가 변경되면 변경된 텍스트에 대응하는 이미지가 제1 영역에 동기화되어 표시될 수도 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (19)

  1. 메인 이미지에 하나 이상의 이미지들이 트리 구조로 삽입되고 상기 하나 이상의 이미지들 중 적어도 일부에 하나 이상의 개체가 매핑된 멀티 뎁스 이미지를 표시하는 방법에 있어서,
    상기 멀티 뎁스 이미지의 트리 구조로부터 적어도 하나의 콘텐츠 트리를 생성하는 단계; 및
    상기 콘텐츠 트리 각각에 대응하는 디스플레이 영역을 구성하는 단계를 포함하되,
    상기 디스플레이 영역은,
    상기 콘텐츠 트리의 노드들에 대응하는 이미지들을 표시하기 위한 제1 영역 및 상기 콘텐츠 트리의 노드들에 대응하는 개체들 또는 상기 개체들의 재생 UI를 표시하기 위한 제2 영역을 포함하고,
    상기 제1 영역과 상기 제2 영역은 서로 매핑된 이미지와 개체 또는 그 개체의 재생 UI가 동기화되어 표시되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  2. 제1항에 있어서,
    상기 콘텐츠 트리는 상기 멀티 뎁스 이미지의 트리 구조와 동일한 구조의 한 개의 트리로 구성되고,
    상기 제2 영역에는 상기 콘텐츠 트리의 노드들에 대응하는 개체들 또는 상기 개체들의 재생 UI가 깊이우선탐색(depth first search) 순서에 따라 표시되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  3. 제2항에 있어서,
    상기 콘텐츠 트리의 동일한 분기 노드로부터 분기되는 복수의 가지들은,
    상기 복수의 가지들 각각의 레벨 수,
    상기 복수의 가지들에 포함된 이미지 또는 개체들이 생성된 시간, 및
    상기 복수의 가지들 각각에 포함된 개체들로부터 검색된 연관 키워드들의 개수 중 적어도 하나에 기초하여 표시 순서가 결정되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  4. 제3항에 있어서,
    상기 콘텐츠 트리의 동일한 분기 노드로부터 분기되는 복수의 가지들은,
    사용자의 선택에 따라, 상기 복수의 가지들의 위치를 변경하거나 상기 복수의 가지들 각각에 포함되는 노드들의 순서를 변경함으로써, 표시 순서가 변경되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  5. 제1항에 있어서,
    상기 콘텐츠 트리는,
    상기 멀티 뎁스 이미지의 트리 구조를 복수의 트리들로 분할하여 생성되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  6. 제5항에 있어서,
    상기 복수의 트리들은,
    상기 멀티 뎁스 이미지의 트리 구조를 분기 노드들을 기준으로 분할하여 생성된 비중첩 서브 트리들인 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  7. 제5항에 있어서,
    상기 복수의 트리들 중 상기 멀티 뎁스 이미지의 트리 구조에서 상위 레벨을 차지하는 트리의 디스플레이 영역을 먼저 표시하는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  8. 제7항에 있어서,
    상기 복수의 트리들 중 동일한 분기 노드로부터 하위로 분기되는 콘텐츠 트리들의 디스플레이 영역은,
    상기 하위로 분기되는 콘텐츠 트리들 각각의 레벨 수,
    상기 하위로 분기되는 콘텐츠 트리들에 포함된 이미지 또는 텍스트가 생성된 시간, 및
    상기 하위로 분기되는 콘텐츠 트리들 각각에 포함된 텍스트들로부터 검색된 연관 키워드들의 개수 중 적어도 하나에 근거하여 표시 순서가 결정되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  9. 제8항에 있어서,
    상기 복수의 트리들 중 동일한 분기 노드로부터 하위로 분기되는 콘텐츠 트리들은,
    사용자의 선택에 따라, 상기 콘텐츠 트리들의 위치를 변경하거나 상기 콘텐츠 트리들 각각에 포함되는 노드들의 순서를 변경함으로써, 표시 순서가 변경되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 방법.
  10. 제1항 내지 9항 중 어느 한 항의 방법을 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  11. 멀티 뎁스 이미지의 메인 이미지에 하나 이상의 이미지들이 트리 구조로 삽입되고 상기 하나 이상의 이미지들 중 적어도 일부에 하나 이상의 개체를 매핑하는 트리구조 구성부;
    상기 멀티 뎁스 이미지의 트리 구조로부터 적어도 하나의 콘텐츠 트리를 생성하고, 상기 콘텐츠 트리 각각에 대응하는 디스플레이 영역을 구성하는 디스플레이 영역 설정부; 및
    상기 디스플레이 영역에 상기 멀티 뎁스 이미지를 표시하는 디스플레이부를 포함하되,
    상기 디스플레이 영역은,
    상기 콘텐츠 트리의 노드들에 대응하는 이미지들을 표시하기 위한 제1 영역 및 상기 콘텐츠 트리의 노드들에 대응하는 개체들 또는 상기 개체들의 재생 UI를 상기 제1 영역에 표시되는 이미지와 동기화시켜 표시하기 위한 제2 영역을 포함하고,
    상기 디스플레이부는 서로 매핑된 이미지와 개체 또는 그 개체의 재생 UI를 각각 상기 제1 영역 및 상기 제2 영역에 표시하는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  12. 제11항에 있어서,
    상기 콘텐츠 트리는 상기 멀티 뎁스 이미지의 트리 구조와 동일한 구조의 한 개의 트리로 구성되고,
    상기 제2 영역에는 상기 콘텐츠 트리의 노드들에 대응하는 개체들 또는 상기 개체들의 재생 UI가 깊이우선탐색(depth first search) 순서에 따라 표시되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  13. 제12항에 있어서,
    상기 콘텐츠 트리의 동일한 분기 노드로부터 분기되는 복수의 가지들은,
    상기 복수의 가지들 각각의 레벨 수,
    상기 복수의 가지들에 포함된 이미지 또는 개체들이 생성된 시간, 및
    상기 복수의 가지들 각각에 포함된 개체들로부터 검색된 연관 키워드들의 개수 중 적어도 하나에 기초하여 표시 순서가 결정되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  14. 제13항에 있어서,
    상기 콘텐츠 트리의 동일한 분기 노드로부터 분기되는 복수의 가지들은,
    사용자의 선택에 따라, 상기 복수의 가지들의 위치를 변경하거나 상기 복수의 가지들 각각에 포함되는 노드들의 순서를 변경함으로써, 표시 순서가 변경되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  15. 제11항에 있어서,
    상기 콘텐츠 트리는,
    상기 멀티 뎁스 이미지의 트리 구조를 복수의 트리들로 분할하여 생성되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  16. 제15항에 있어서,
    상기 복수의 트리들은,
    상기 멀티 뎁스 이미지의 트리 구조를 분기 노드들을 기준으로 분할하여 생성된 비중첩 서브 트리들인 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  17. 제15항에 있어서,
    상기 복수의 트리들 중 상기 멀티 뎁스 이미지의 트리 구조에서 상위 레벨을 차지하는 트리의 디스플레이 영역을 먼저 표시하는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  18. 제17항에 있어서,
    상기 복수의 트리들 중 동일한 분기 노드로부터 하위로 분기되는 콘텐츠 트리들의 디스플레이 영역은,
    상기 하위로 분기되는 콘텐츠 트리들 각각의 레벨 수,
    상기 하위로 분기되는 콘텐츠 트리들에 포함된 이미지 또는 텍스트가 생성된 시간, 및
    상기 하위로 분기되는 콘텐츠 트리들 각각에 포함된 텍스트들로부터 검색된 연관 키워드들의 개수 중 적어도 하나에 근거하여 표시 순서가 결정되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
  19. 제18항에 있어서,
    상기 복수의 트리들 중 동일한 분기 노드로부터 하위로 분기되는 콘텐츠 트리들은,
    사용자의 선택에 따라, 상기 콘텐츠 트리들의 위치를 변경하거나 상기 콘텐츠 트리들 각각에 포함되는 노드들의 순서를 변경함으로써, 표시 순서가 변경되는 것을 특징으로 하는
    멀티 뎁스 이미지 표시 장치.
KR1020180118728A 2018-10-05 2018-10-05 멀티 뎁스 이미지 표시 장치 및 방법 KR20200039169A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180118728A KR20200039169A (ko) 2018-10-05 2018-10-05 멀티 뎁스 이미지 표시 장치 및 방법
EP19869163.6A EP3863291A4 (en) 2018-10-05 2019-09-26 DEVICE AND METHOD FOR DISPLAYING MULTI-DEEP IMAGES
PCT/KR2019/012492 WO2020071684A1 (ko) 2018-10-05 2019-09-26 멀티 뎁스 이미지 표시 장치 및 방법
JP2021518524A JP7278645B2 (ja) 2018-10-05 2019-09-26 マルチデプスイメージ表示装置及び方法
US17/282,892 US11677929B2 (en) 2018-10-05 2019-09-26 Apparatus and method for displaying multi-depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180118728A KR20200039169A (ko) 2018-10-05 2018-10-05 멀티 뎁스 이미지 표시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20200039169A true KR20200039169A (ko) 2020-04-16

Family

ID=70055598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180118728A KR20200039169A (ko) 2018-10-05 2018-10-05 멀티 뎁스 이미지 표시 장치 및 방법

Country Status (5)

Country Link
US (1) US11677929B2 (ko)
EP (1) EP3863291A4 (ko)
JP (1) JP7278645B2 (ko)
KR (1) KR20200039169A (ko)
WO (1) WO2020071684A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200079849A (ko) * 2018-12-26 2020-07-06 주식회사 피제이팩토리 멀티 뎁스(multi-depth) 이미지 생성 및 뷰잉

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001060202A (ja) 1999-08-23 2001-03-06 Fujitsu Ltd 文書閲覧システム及びそのシステムでの処理をコンピュータに行わせるためのプログラムを格納した記憶媒体
JP4812207B2 (ja) 2001-07-31 2011-11-09 東芝エレベータ株式会社 エレベータのメインテナンス仕様設定支援システム
JP3784695B2 (ja) 2001-11-06 2006-06-14 株式会社テクノツリー 商品カタログ表示装置および商品カタログ表示プログラム、並びに記録媒体
US8387037B2 (en) * 2005-01-28 2013-02-26 Ca, Inc. Updating software images associated with a distributed computing system
US20060242126A1 (en) * 2005-03-25 2006-10-26 Andrew Fitzhugh System and method for a context-sensitive extensible plug-in architecture
US7734622B1 (en) 2005-03-25 2010-06-08 Hewlett-Packard Development Company, L.P. Media-driven browsing
JP5035596B2 (ja) * 2006-09-19 2012-09-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20080270444A1 (en) 2007-04-24 2008-10-30 International Business Machines Corporation System, method and tool for web-based interactive graphical visualization and authoring of relationships
US20110179390A1 (en) * 2010-01-18 2011-07-21 Robert Paul Morris Methods, systems, and computer program products for traversing nodes in path on a display device
JP2011254240A (ja) 2010-06-01 2011-12-15 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5477176B2 (ja) * 2010-06-07 2014-04-23 株式会社リコー 部品情報閲覧プログラム、部品情報閲覧装置及び部品情報閲覧システム
JP5309187B2 (ja) 2011-05-26 2013-10-09 富士フイルム株式会社 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
EP2985708A1 (en) * 2014-08-15 2016-02-17 Dassault Systèmes Navigation through the hierarchical structure of a three-dimensional modeled assembly of parts
JP6680085B2 (ja) * 2016-05-31 2020-04-15 富士通株式会社 表示制御方法、表示制御装置および表示制御プログラム
KR102644105B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 생성 방법
KR20200079849A (ko) * 2018-12-26 2020-07-06 주식회사 피제이팩토리 멀티 뎁스(multi-depth) 이미지 생성 및 뷰잉

Also Published As

Publication number Publication date
WO2020071684A1 (ko) 2020-04-09
EP3863291A1 (en) 2021-08-11
JP2022511602A (ja) 2022-02-01
EP3863291A4 (en) 2022-08-10
US11677929B2 (en) 2023-06-13
JP7278645B2 (ja) 2023-05-22
US20210352268A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US20200218414A1 (en) User Interface Editor
CN109408685B (zh) 思维导图展示方法和装置
KR101606949B1 (ko) 다중 계층화된 슬라이드 전환
US20160103601A1 (en) Modular responsive screen grid, authoring and displaying system
US20160357717A1 (en) Generating Layout for Content Presentation Structures
JP2010538369A (ja) 階層データセットに対するブレッドクラムリストの追加
CN103597432A (zh) 信息处理装置、信息处理方法以及计算机程序产品
JP6157758B2 (ja) 情報処理装置及び動画再生方法及び動画再生プログラム
KR20120082418A (ko) 디지털 정보 콘텐츠의 카탈로그를 탐색하는 방법
KR20080021081A (ko) Ｘｍｌ 표현에서 ｚ-ｏｒｄｅｒ 엘리먼트들의 정밀립 제어
CA2989462A1 (en) System and method for generating an electronic page
JP7481044B2 (ja) マルチデプスイメージの作成及びビューイング
CN111666100B (zh) 软件框架生成方法、装置、电子设备及存储介质
KR101720635B1 (ko) 웹 기반의 3d 영상 컨텐츠 제작 방법 및 이를 운영하는 서버
KR20200039169A (ko) 멀티 뎁스 이미지 표시 장치 및 방법
JP5803302B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6065353B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8566359B1 (en) Unfolding sparse data sets
CN110750263B (zh) 一种车用仪表开发数据生成方法及装置
CN110908647B (zh) 一种积木式编程的对象变量呈现方法、装置、终端及存储介质
US9442637B1 (en) Hierarchical navigation and visualization system
JP4674726B2 (ja) ファイルの管理方法および情報処理装置
JP2023529346A (ja) マルチデプスイメージを生成する方法
KR20210150260A (ko) 멀티 뎁스 이미지를 생성하는 방법