KR20010105286A - 통신 장치, 통신 방법, 및 이에 사용되는 저장 매체 - Google Patents

통신 장치, 통신 방법, 및 이에 사용되는 저장 매체 Download PDF

Info

Publication number
KR20010105286A
KR20010105286A KR1020010027367A KR20010027367A KR20010105286A KR 20010105286 A KR20010105286 A KR 20010105286A KR 1020010027367 A KR1020010027367 A KR 1020010027367A KR 20010027367 A KR20010027367 A KR 20010027367A KR 20010105286 A KR20010105286 A KR 20010105286A
Authority
KR
South Korea
Prior art keywords
data
image
package
unit
sub
Prior art date
Application number
KR1020010027367A
Other languages
English (en)
Other versions
KR100922932B1 (ko
Inventor
곤도데쯔지로
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010105286A publication Critical patent/KR20010105286A/ko
Application granted granted Critical
Publication of KR100922932B1 publication Critical patent/KR100922932B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/085—Payment architectures involving remote charge determination or related payment systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast

Abstract

광고 정보에 서브 데이터를 내장하고 메인 데이터에 서브 데이터가 내장된 광고 정보를 내장함으로써 얻어지는 부호화 데이터가 사용자에게 제공된다. 사용자 측에서는, 메인 데이터 및 서브 데이터가 내장된 광고 정보를 재생하기 위해 부호화 데이터가 복호화되고, 광고 정보 및 광고 정보에 내장된 서브 데이터를 재생하기 위해 서브 데이터가 내장된 광고 정보가 복호화된다.

Description

통신 장치, 통신 방법, 및 이에 사용되는 저장 매체{COMMUNICATION APPARATUS, COMMUNICATION METHOD, AND RECORDING MEDIUM USED THEREWITH}
본 발명은 통신 장치, 통신 방법, 및 이에 사용되는 저장 매체에 관한 것으로, 특히 원하는 정보가 원하는 미디어 타입을 사용하여 얻어질 수 있고, 광고 등을 사용자에게 확실하게 보여주는 통신 장치와 통신 방법, 및 통신 장치와 방법에 사용되는 저장 매체에 관한 것이다.
인터넷 상의 WWW(World Wide Web) 시스템에 따르면, 사용자는 WWW 서비스에 의해 제공된 웹 페이저를 보기 위해 WWW 브라우저를 사용한다.
웹 페이지는 HTML(Hypertext Markup Language)과 같은 페이지 기술 언어로 기술된다. HTML을 사용하여, 다양한 형태의 정보가 다른 형태의 정보와 링크될 수 있다. 그러므로, 소정의 웹 페이지를 볼 때, 사용자는 웹 페이지 상의 링크를 따르고 원하는 정보를 얻는다.
웹 페이지 상의 링크의 도착지에 있는 정보의 미디어 타입은 웹 페이지의 제작자에 의해 결정된다. 따라서, 사용자는 원하는 미디어 타입으로 원하는 정보를 항상 얻을 수는 없다. 바꾸어 말하면, 예를 들어, 사용자가 주어진 연주자의 한 편의 악곡에 대한 정보를 얻을 때, 텍스트 형태로 곡명을 알고자 하는 사용자, 악곡을 포함하는 (컴팩트 디스크 등의) 앨범 자켓의 이미지를 보고자 하는 사용자 등의 다양한 사용자가 있다. 이러한 경우에, 필요한 정보가 항상 사용자가 원하는 미디어 타입으로 제공될 수는 없다.
또한, 웹 페이지는, 광고 정보가 기술된 웹 페이지에 링크된 배너 광고를 갖는 경우가 있다. 이 경우에, 배너 광고가 링크된 광고 정보는 사용자가 배너 광고를 클릭하지 않으면 웹 브라우저 상에 표시될 수 없다. 이는, 광고 정보가 사용자에게 보여지는 것을 보장할 수가 없다.
따라서, 본 발명은 상기 사정을 감안하여 이루어진 것으로서, 본 발명의 목적은, 원하는 정보가 원하는 미디어 타입을 사용하여 얻어질 수 있고, 광고와 같은 소정의 정보가 사용자에게 보여지는 것을 보장하는 통신 장치, 통신 방법, 및 이에 사용되는 저장 매체를 제공하는 것이다.
상기 목적을 위해, 본 발명의 한 특성에 따르면, 외부 장치에 의해 요청될 때에 데이터를 전송하기 위한 통신 장치가 제공된다. 이 통신 장치는 저장부, 검색부, 암호화부, 및 통신부를 포함한다. 이 저장부는 메인 데이터 및 서브 데이터로 각각 구성된 복수 편의 패키지 데이터를 저장한다. 메인 데이터는 복수 편의 미디어 데이터 중의 하나이다. 서브 데이터는 복수 편의 미디어 데이터 및 이에 대응하는 복수 편의 링크 데이터로 이루어진다. 검색부는 외부 장치로부터의 요구에 응답하여 저장부로부터 원하는 패키지 데이터를 검색한다. 암호화부는 검색된 패키지 데이터를 암호화하여 생성된 암호화된 패키지 데이터를 출력한다. 통신부는 암호화된 패키지 데이터를 외부 장치로 전송한다.
그러므로, 본 발명의 통신 장치는 외부 장치로부터의 요청에 응답하여 원하는 미디어 타입의 데이터를 전송할 수 있기 때문에, 진정한 멀티미디어 데이터베이스 서비스를 가능하게 한다.
본 발명의 다른 특성에 따르면, 외부 장치로부터 데이터를 수신하기 위한 통신 장치가 제공된다. 이 통신 장치는 요청부, 출력부, 사용자 지시 검출부, 및 출력 제어부를 포함한다. 이 요청부는 사용자의 지시에 응답하여 메인 데이터 및 서브 데이터로 이루어진, 외부 장치로부터의 패키지 데이터를 요청한다. 메인 데이터는 복수 편의 미디어 데이터 중의 하나이다. 서브 데이터는 복수 편의 미디어 데이터 및 이에 대응하는 복수 편의 링크 데이터로 이루어진다. 출력부는 요청부에 의한 요청에 응답하여 외부 장치로부터 수신된 패키지 데이터의 메인 데이터를 출력한다. 사용자 지시 검출부는 출력된 메인 데이터에 관한 사용자의 지시를 검출한다. 출력 제어부는 사용자의 지시가 사용자 지시 검출부에 의해 검출될 때 출력된 메인 데이터에 대응하는 서브 데이터를 출력한다. 사용자 지시 검출부가 서브 데이터의 일부에 관한 사용자 지시를 검출할 때, 요청부는 서브 데이터의 일부에 대응하는 링크 데이터에 기초하여 외부 장치로부터 새로운 패키지 데이터를 요청한다.
본 발명의 통신 장치는 외부 장치로부터 원하는 미디어 타입의 데이터를 얻을 수 있기 때문에 매우 단순화된 인터페이스를 통해서 진정한 멀티미디어 데이터베이스 서비스를 제공할 수 있다.
본 발명의 또 다른 특성에 따르면, 외부 장치로 데이터를 전송하기 위한 통신 장치가 제공된다. 이 통신 장치는 저장부, 검색부 및 통신부를 포함한다. 저장부는 부호화 데이터를 복호화할 때 소정의 정보가 재생되도록 부호화함으로써 생성된 복수 편의 부호화 데이터를 저장한다. 검색부는 외부 장치로부터의 요청에 응답하여 원하는 부호화 데이터를 저장부에서 검색한다. 통신부는 검색된 부호화 데이터를 외부 장치로 전송한다.
본 발명의 통신 장치에 따르면, 소정의 정보가 복호화 시에 재생될 수 있는 부호화 데이터를 갖는 외부 장치를 제공하여, 외부 장치는 최종으로 복호화된 결과를 얻을 때 소정의 정보가 표시될 수 있도록 제어될 수 있다. 그러므로, 외부 장치에 의해 표시된 정보는 쉽게 제어될 수 있다.
본 발명의 또 다른 특성에 따르면, 데이터를 외부 장치로부터 수신하는 통신 장치가 제공된다. 통신 장치는 요청부, 복호화부 및 출력부을 포함한다. 요청부는 부호화 데이터를 복호화할 때 선정된 정보가 재생되도록 부호화를 실행함으로써 생성된 부호화 데이터를 외부 장치로부터 요청한다. 복호화부는 요청된 부호화 데이터를 검색하여 복호화한다. 출력부는 부호화 데이터를 최종적으로 복호화함으로써 생성된 복호화 데이터 및 선정된 정보를 출력한다.
본 발명의 통신 장치는 선정된 정보가 복호화 시에 재생될 수 있는 부호화 데이터를 구비하고 있기 때문에, 선정된 정보가 최종적인 복호화된 결과를 얻기 위해 사용되고 있을 때 표시될 수 있게 제어된다. 그러므로, 통신 장치에 의해 표시된 정보는 쉽게 제어될 수 있다.
도 1은 본 발명이 적용되는 네트워크 시스템의 한 실시예를 도시하는 블록도.
도 2는 도 1에 도시된 패키지 서버(1), 사용자 단말(3) 및 WWW 서버(4) 각각의 하드웨어 구성을 도시하는 블록도.
도 3은 도 1에 도시된 패키지 서버(1)의 기능적인 구성을 도시하는 블록도.
도 4a 및 도 4b는 도 3에 도시된 데이터베이스(31) 내에 포함되는 데이터 저장부 및 룩업 테이블을 도시하는 도면.
도 5는 패키지 데이터를 도시하는 도면.
도 6a 및 도 6b는 형성된 링크 구조를 도시하는 도면.
도 7은 도 1에 도시된 패키지 서버(1)에 의해 실행되는 처리를 나타내는 플로우차트.
도 8은 사용자 단말(3)의 제1의 기능적인 구성을 도시하는 블록도.
도 9는 사용자 단말(3)에 의해 실행되는 처리를 나타내는 플로우차트.
도 10은 사용자 단말(3)에 의해 표시되는 화면을 도시하는 도면.
도 11은 사용자 단말(3)에 의해 표시되는 화면을 도시하는 도면.
도 12a 및 도 12b는 사용자 단말(3)에 의해 표시되는 화면을 도시하는 도면.
도 13a, 도 13b, 도 13c, 및 도 13d는 사용자 단말(3)에 의해 표시되는 화면을 도시하는 도면.
도 14a 및 도 14b는 사용자 단말(3)에 의해 표시되는 화면을 도시하는 도면.
도 15는 도 3에 도시된 데이터베이스(31) 내의 데이터 저장부를 도시하는 도면.
도 16은 멀티미디어 패키지 데이터를 도시하는 도면.
도 17은 링크 구조를 도시하는 도면.
도 18은 사용자 단말(3)의 제2의 기능적인 구성을 도시하는 블록도.
도 19는 사용자 단말(3)에 의해 실행되는 처리를 도시하는 플로우차트.
도 20은 사용자 단말(3)에 의해 표시되는 화면예를 도시하는 도면.
도 21은 사용자 단말(3)에 의해 표시되는 화면예를 도시하는 도면.
도 22는 사용자 단말(3)에 의해 표시되는 화면예를 도시하는 도면.
도 23a 및 도 23b는 도 3에 도시된 데이터베이스(31)에 저장된 멀티미디어 패키지 데이터를 도시하는 도면.
도 24a 및 도 24b는 사용자 단말(3)에 제공되는 멀티미디어 패키지 데이터의 커스터마이즈화(customizing)를 도시하는 도면.
도 25는 도 1에 도시된 패키지 서버(1)의 제2의 기능적인 구성을 도시하는 블록도.
도 26a 및 도 26b는 사용자 정보를 구성하는 사용자-기호 정보 및 변경 정보를 도시하는 도면.
도 27은 내장형 부호화/복호화 시스템의 한 실시예를 도시하는 블록도.
도 28은 부호화될 이미지를 도시하는 도면.
도 29는 상관을 이용한 부호화/복호화를 도시하는 그래프도 (A) 및 (B).
도 30은 도 27에 도시된 내장형 부호화부(103)의 구성을 도시하는 블록도.
도 31은 내장형 부호화 처리를 도시하는 플로우차트.
도 32는 도 31에 도시된 단계 101의 처리를 도시하는 도면.
도 33은 도 27에 도시된 내장형 복호화부(106)의 구성을 도시하는 블록도.
도 34는 도 33에 도시된 CPU(143)에 의해 실행되는 처리를 도시하는 도면.
도 35는 내장형 복호화 처리를 도시하는 플로우차트.
도 36은 1-비트 정보가 4 화소에 포함된 경우를 도시하는 도면.
도 37은 연속성을 이용한 부호화/복호화를 도시하는 그래프도 (A) 및 (B).
도 38은 내장형 복호화 처리를 도시하는 플로우차트.
도 39는 내장형 부호화 처리와 내장형 복호화 처리를 도시하는 도면.
도 40은 내장형 복호화 처리를 도시하는 플로우차트.
도 41a 및 도 41b는 유사성을 이용한 부호화/복호화를 도시하는 도면.
도 42a 및 도 42b는 유사성을 이용한 부호화/복호화을 도시하는 도면.
도 43은 내장형 부호화 처리를 도시하는 플로우차트.
도 44는 내장형 부호화 처리와 내장형 복호화 처리를 도시하는 도면 (A) 및 (B).
도 45는 내장형 복호화 처리를 도시하는 플로우차트.
도 46은 내장형 부호화부(103)의 하드웨어 구성을 도시하는 블록도.
도 47은 내장형 부호화부(103)의 기능적인 구성을 도시하는 블록도.
도 48은 내장형 부호화 처리를 도시하는 플로우차트.
도 49a, 도 49b, 도 49c, 도 49d, 도 49e, 도 49f, 도 49g, 도 49h, 도 49i, 도 49j, 및 도 49k는 내장형 부호화 처리의 결과를 도시하는 도면.
도 50은 내장형 복호화부(106)의 하드웨어 구성을 도시하는 블록도.
도 51은 내장형 복호화부(106)의 기능적인 구성을 도시하는 블록도.
도 52는 내장형 복호화 처리를 도시하는 플로우차트.
도 53은 내장형 부호화의 시뮬레이션에 사용된 원래의 이미지를 표시하는 표시부 상에 표시된 중간 계조의 사진.
도 54는 내장형 부호화의 시뮬레이션 결과를 표시하는 표시부 상에 표시된 중간 계조의 사진.
도 55는 내장형 복호화의 시뮬레이션 결과를 표시하는 표시부 상에 표시된 중간 계조의 사진.
도 56은 부호화될 이미지를 도시하는 도면.
도 57은 부호화될 이미지를 도시하는 도면.
도 58은 열 벡터 공간을 도시하는 그래프도.
도 59는 열 벡터 공간을 도시하는 그래프도.
도 60은 행과 열의 스위칭을 도시하는 도면.
도 61a 및 도 61b는 행과 열의 스위칭을 도시하는 도면.
도 62는 복호화에 기초한 화소를 도시하는 도면.
도 63은 복호화에 기초한 화소를 도시하는 도면.
도 64는 복호화에 기초한 화소를 도시하는 도면.
도 65는 광고 정보가 멀티미디어 패키지 데이터에 내장된 부호화 데이터를 생성하는 방법을 도시하는 도면.
도 66은 광고 정보가 멀티미디어 패키지 데이터에 내장된 부호화 데이터를 생성하는 방법을 도시하는 도면.
도 67은 사용자 단말(3)의 제3의 구성을 도시하는 블록도.
도 68은 도 67에 도시된 사용자 단말(3)에 의해 실행되는 처리를 도시하는 플로우차트.
도 69는 사용자 단말(3)을 사용하여 멀티미디어 패키지 데이터를 복호화하기 위한 처리를 도시하는 플로우차트.
도 70은 사용자 단말(3)을 사용하여 부호화 데이터를 복호화하기 위한 단계들을 도시하는 도면.
도 71은 사용자 단말(3)을 사용하여 멀티미디어 패키지 데이터를 복호화하기 위한 처리를 도시하는 플로우차트.
도 72는 광고 정보가 멀티미디어 패키지 데이터에 내장된 부호화 데이터를 생성하기 위한 방법을 도시하는 도면.
도 73은 사용자 단말(3)을 사용하여 멀티미디어 패키지 데이터를 복호화하기위한 처리를 도시하는 플로우차트.
도 74는 사용자 단말(3)을 사용하여 부호화 데이터를 복호화하기 위한 단계들을 도시하는 도면.
도 75는 패키지 서버(1)의 제3의 기능적인 구성을 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
1 : 패키지 서버
2 : 네트워크
31내지 3N: 사용자 단말
11 : 버스
12 : CPU
13 : ROM
14 : RAM
15 : 하드디스크
16 : 출력부
17 : 입력부
18 : 통신부
19 : 드라이브
20 : 입력/출력 인터페이스
21 : 분리 가능 저장 매체
31 : 데이터베이스
32 : 검색부
34, 48 : 부호화/암호화부
35, 50 : 복호화부
36 : 응답 데이터 생성부
37, 49 : 통신 I/F
38 : 과금 처리부
39 : 사용자 정보 저장부
41 : 제어부
42 : 지시부
43 : 이벤트 검출/셀렉터부
44 : 데이터 검색부
45 : 선택 지시 검출부
46 : 리퀘스트 신호 생성부
47 : 컨텐츠 식별자 저장부
51 : 표시부
52 : 저장부
53 : 스피커
54 : 제1 복호화부
55 : 제2 복호화부
도 1은 본 발명이 적용되는 네트워크 시스템의 실시예를 도시한다.
사용자 단말(31, 32,...,3N) 중의 하나 (사용자 단말 31내지 3N중의 하나는 다른 것과 특별히 구별될 필요가 없는 경우에, 이하 "사용자 단말(3)"이라 함)로부터의 요청에 응답하여, 패키지 서버(1)는 인터넷과 같은 네트워크(2)를 통해 패키지 데이터 (후술됨)를 전송한다.
사용자 단말(3)은 요구된 바와 같이 패키지 서버(1)로부터의 패키지 데이터를 요청하기 위해 네트워크(2)를 사용하고, 패키지 서버(1)로부터의 응답으로 전송된 패키지 데이터를 수신 및 출력한다 (패키지 데이터는 이미지 또는 텍스트 형태로 표시되거나, 소리로 출력됨). 사용자 단말(3)은 네트워크(2)를 통해 WWW 서버(4)로부터 웹 페이지 등을 요청하고, 네트워크(2)를 통해 WWW 서버로부터의 응답으로서 전송된 웹 페이지를 표시한다.
사용자 단말(3)로부터의 요청에 응답하여, WWW 서버(4)는 네트워크(2)를 통해 웹 페이지를 전송한다.
다음으로, 도 2는 패키지 서버(1), 사용자 단말(3) 및 WWW 서버(4)의 각각의 하드웨어 구성을 도시한다.
패키지 서버(1), 사용자 단말(3) 및 WWW 서버(4)는 각각 컴퓨터를 기반으로 한 구성을 갖는다.
각각의 장치는 컴퓨터와 같이 내장 CPU(central processing unit; 12)를 가진다. 입력/출력 I/F(interface)(20)는 버스(11)를 통해 CPU(12)에 연결된다. 장치 사용자가 키보드, 마이크로폰 등을 구비한 입력부(17)를 조작하여 입력/출력I/F(20)를 통해 지시를 CPU(12)로 입력할 경우, 상기 지시에 응답하여 CPU(12)는 ROM(read-only memory; 13) 내에 저장된 프로그램 - 전용 브라우저 (후술됨)를 실행시킴 - 을 실행시킨다. 또한, RAM(random access memory; 14)으로 로딩된 후에, CPU(12)는 다음 프로그램 즉, 하드디스크 드라이브(15)에 저장된 프로그램; 네트워크 또는 위성으로부터 전송되고 통신부(18)에 의해 수신된 후 하드디스크 드라이브(15) 내에 설치된 프로그램; 분리 가능 저장 매체(21)로부터 판독된 후 하드디스크 드라이브에 설치된 프로그램 중의 하나를 실행한다. 이는 CPU(12)로 하여금 플로우차트에 따른 처리 (후술됨) 또는 블럭도에서 실행되는 처리 (후술됨)를 실행하도록 한다. CPU(12)의 제어하 에서, 입력/출력 I/F(20)를 사용함으로써, 각 처리의 결과는 액정 표시부 및 스피커를 포함하는 출력부(16)로부터 출력되고, 통신부(18)에 의해 전송되거나, 하드디스크 드라이브(15)에 기록된다.
본 명세서에서는, 각각의 처리를 실행하기 위해 컴퓨터를 제어하기 위한 각각의 프로그램을 설명하는 처리 단계들이 각각의 플로우차트 (후술됨)의 형태로 설명되는 순서에 따라 시계열적일 필요는 없고, 병렬적으로 또는 개별적으로 실행되는 처리 (예를 들면, 병렬 처리 또는 오브젝트-기반 처리)도 포함한다.
각 프로그램은 하나의 컴퓨터에 의해 실행되거나 복수의 컴퓨터에 의해 분산적으로 처리될 수 있다. 또한, 각 프로그램은 리모트 컴퓨터에서 전송되어 실행되는 형태일 수 있다.
또한, 각 프로그램은 컴퓨터에 내장된 저장 매체의 형태로서 하드디스크 드라이브(15) 또는 ROM(13)에 기록될 수 있다. 각 프로그램은 플로피 디스크, 휴대형 디스크 ROM, DVD, 자기 디스크, 또는 반도체 메모리와 같은 분리 가능 저장 매체(21)에 일시적으로 또는 영구적으로 저장 (기록)될 수 있다. 이러한 분리 가능 저장 매체(21)는 소위 "패키지 소프트웨어"로 제공될 수 있다.
각 프로그램은 상기 분리 가능 저장 매체(21)로부터 컴퓨터에 설치된다. 또한, 디지털 위성 방송용 위성을 통해 다운로드 사이트로부터 컴퓨터로 무선에 의해 각 프로그램을 전송하거나 유선에 의해 컴퓨터로 각 프로그램을 전송함으로써, 컴퓨터가 통신부(18)에 의해 수신한 다음, 하드디스크 드라이브(15)에 전송된 프로그램을 설치할 수 있다.
도 3은 도 1에 도시된 패키지 서버의 기능적인 구성을 도시한다.
데이터베이스(31)는 패키지 서버(1)가 사용자 단말(3)로 제공한 패키지 데이터 등을 저장한다. 응답 데이터 생성부(36)로부터의 요청에 응답하여, 패키지 데이터가 검색부(32)에 의해 데이터베이스(31)로부터 검색되고, 응답 데이터 생성부(36)로 공급된다. 검색부(32)는 응답 데이터 생성부(36)로부터 응답 데이터로서 패키지 데이터를 수신하고, 상기 응답 데이터를 부호화/암호화부(34)로 공급한다. 부호화/암호화부(34)는 네트워크(2)를 통한 전송용 프로토콜 변환, 보안을 설정하는 데 필요한 암호화 등을 실행함으로써 공급된 응답 데이터를 처리하고, 상기 처리된 데이터를 통신 I/F(37)로 공급한다. 복호화부(35)는 보안 설정을 위한 암호화, 프로토콜 변환 등을 실행하여 통신 I/F(37)에서 공급된 사용자 단말(3)로부터의 데이터를 처리하고, 상기 응답-데이터 생성부(36)로 상기 처리된 데이터를 공급한다.
응답 데이터 생성부(36)는 복호화부(35)에서 공급된 사용자 단말(3)로부터의 데이터를 기초로 하여 사용자가 요청한 패키지 데이터를 인식하고 검색부(32)를 제어하여 패키지 데이터를 검색한다. 응답 데이터 생성부(36)는 검색부(32)로부터 공급된 패키지 데이터를 사용하여 응답 데이터를 생성하고 상기 생성된 응답 데이터를 검색부(32)로 공급한다. 응답 데이터 생성부(36)는 과금 처리부(38)를 사용자 단말(3)로부터의 요청에 따라 제어한다.
통신 I/F(37)는 부호화/암호화부(34)로부터 공급된 응답 데이터를 사용자 단말(3)로 전송하고 네터워크(2)를 통해 사용자 단말(3)로부터 전송된 데이터를 수신하여 복호화부(35)로 공급한다. 응답 데이터 생성부(36)의 제어 하에서, 과금 처리부(38)는 과금을 처리한다.
도 4a 및 도 4b 내지 도 6을 참조로 하여, 패키지 서버(1) (도 3) 내의 데이터베이스(31)에 저장된 데이터를 이하 설명한다.
데이터베이스(31)는 도 4a에 도시된 룩업 테이블 및 도 4b에 도시된 데이터 저장부를 포함한다.
도 4a에 도시된 바와 같이, 룩업 데이블은 룩업 데이블의 데이터 저장부 내의 엔트리 내에 저장된 패키지 데이터를 식별하는 컨텐트 식별자, 및 패키지 데이터가 저장되는 엔트리 (의 어드레스)를 지정하는 포인터를 포함한다. 도 4a의 예에서는, URL이 컨텐트 식별자로서 사용된다.
도 4b에 도시된 바와 같이, 데이터 저장부는 패키지 데이터가 저장되는 하나 이상의 엔트리를 포함한다.
각 패키지 데이터는 예를 들어, 헤더, 아이콘 데이터, 텍스트 데이터, 링크 데이터의 순서로 구성되어 있다.
헤더는 패키지 데이터의 길이 같은 패키지 데이터에 대한 소정의 정보를 갖고 있다.
아이콘 데이터는 사용자 단말(3)에서 아이콘으로서 표시될 이미지 데이터이다. 패키지 데이터는 반드시 단일의 아이콘 데이터를 갖는다.
텍스트 데이터는 아이콘 데이터와 결합하여 쌍을 형성하며, 텍스트 데이터는 아이콘 데이터에 상응하는 아이콘으로 소정의 이벤트가 주어지는 경우 표시될 메뉴의 항목으로서 사용될 텍스트이다. 패키지 데이터는 텍스트 데이터의 필요 번호(necessary number)를 포함한다. 도 4b에 도시된 예에서, 패키지 데이터는 M개의 데이터를 갖는다.
링크 데이터는 텍스트 데이터에 링크될 패키지 데이터를 식별하기 위한 식별 정보이다. 링크 데이터는 일례로 텍스트 데이터로 링크된 패키지 데이터의 컨텐트 식별자이다. 따라서, 패키지 데이터는 기본적으로 텍스트 데이터의 번호와 동일한 번호의 링크 데이터를 포함한다.
달리 말하면, 패키지 데이터는 도 5에 도시된 바와 같이 다른 패키지 데이터로의 링크를 나타내는 링크 데이터가 관련된 한 세트의 아이콘 데이터 및 텍스트 데이터의 필요 번호 (#1 내지 #M)를 포함한다. 이러한 패키지 데이터에서, 각 텍스트 데이터는 다른 패키지 데이터 (또는 데이터 그 자체)로 링크될 수 있다. 따라서, 텍스트 데이터 그 자체를 기본 단위로 사용함으로써, 다수의 패키지 데이터로 구성된 링크 구조가 형성될 수 있다.
보다 구체적으로, 패키지 데이터 내에서 아이콘 데이터는 원으로 표시되고, 텍스트 데이터는 직사각형으로 표시되는 경우, 기본 단위로서의 패키지 데이터는 도 5와 같이 나타내어진다. 패키지 데이터를 사용함으로써, 도 6a 및 도 6b에 도시된 바와 같이, 패키지 데이터 내의 각각의 텍스트 데이터가 다른 패키지 데이터로 링크될 수 있다. 패키지 데이터에 관한 반복 링크를 이행함으로써, 한정된 패키지 데이터가 서로 링크되어 있는 링크 구조가 이론적으로 실현된다.
패키지 데이터의 링크 구조는 도 6a에 도시된 것과 같은 트리 구조로서 뿐만 아니라 도 6b에 도시된 점선 화살표에 의해 나타내어진 루프를 갖는 구조로서도 형성될 수 있다.
또한, 한 세트의 아이콘 데이터 및 텍스트 데이터에 의해 형성된 패키지 데이터의 구조는 텍스트 데이터가 패키지 데이터의 메인부로서 아이콘 데이터에 부수적으로 수반하는 구조로서 간주될 수 있다. 따라서, 패키지 데이터의 메인부가 되는 데이터 (예를 들면, 도 5의 아이콘 데이터)를 이하 "메인 데이터"이라고도 하며, 메인 데이터와 쌍을 이루어서 패키지 데이터를 형성하는 부수적 데이터 (예를 들면, 도 5의 텍스트 데이터 #1 내지 #M)를 이하 "서브 데이터"라고도 한다.
다음으로, 도 7의 플로우차트를 참조로 하여, 도 3의 패키지 서버(1)의 처리를 이하 설명한다.
본 실시예에서, 사용자 단말(3)에 패키지 데이터가 제공될 수 있도록 하기 위해서, 사용자 단말(3)은 예를 들어 패키지 서버(1)에 미리 등록되어야 하며, 사용자를 식별하는 사용자 ID(identification)가 등록된 사용자 단말(3)에 발행되어야 한다.
그러나, 상기 등록을 이행하지 않고도 패키지 데이터가 제공될 수 있다.
소정의 패키지 데이터를 요청하는 리퀘스트 신호가 사용자 단말(3)로부터 네트워크(2)를 경유하여 패키지 서버(1)로 송신된다. 단계 S1에서, 패키지 서버(1)의 통신 I/F(37)(도 3)는 사용자 단말(3)로부터 리퀘스트 신호를 수신하였는 지의 여부를 결정한다. 리퀘스트 신호는 예를 들어, 리퀘스트 신호에 의해 요청된 패키지 데이터의 컨텐트 식별자 (도 4a), 및 사용자 단말(3)의 사용자 ID를 포함한다.
단계 S1에서, 통신 I/F(37)가 사용자 단말(3)로부터 리퀘스트 신호를 수신하지 않았다고 결정한 경우, 통신 I/F(37)는 리퀘스트 신호를 수신할 때까지 결정을 반복적으로 수행한다.
단계 S1에서, 통신 I/F(37)가 사용자 단말(3)로부터 리퀘스트 신호를 수신하였다고 결정한 경우, 통신 I/F(37)는 복호화부(35)로 리퀘스트 신호를 공급한다. 복호화부(35)는 암호 해독, 프로토콜 변환 등을 수행함으로써 리퀘스트 신호를 처리하고, 처리된 리퀘스트 신호를 응답 데이터 생성부(36)로 공급한다. 단계 S2에서, 응답 데이터 생성부(36)는 복호화부(35)로부터의 리퀘스트 신호에 포함된 컨텐트 식별자에 상응하는 패키지 데이터를 검색하도록 검색부(32)를 제어한다.
응답 데이터 생성부(36)는 리퀘스트 신호에 포함된 사용자 ID가 등록된 사용자 ID들 중에 하나에 상응하는 지의 여부를 인식한다. 리퀘스트 신호에 포함된 사용자 ID가 상응하지 않는 경우, 응답 데이터 생성부(36)가, 예를 들어, 다음 단계를 수행하지 않도록 제어될 수 있다.
응답 데이터 생성부(36)의 제어 하에서, 검색부(32)는 데이터베이스(31)의 룩업 테이블 (도 4a)로부터의 리퀘스트 신호에 포함된 컨텐트 식별자를 검색한다. 검색부(32)는 데이터베이스(31)로부터 컨텐트 식별자와 관련된 포인터에 의해 나타나는 엔트리에서 패키지 데이터를 판독한다. 판독 패키지 데이터가 응답 데이터 생성부(36)에 공급된다.
단계 S3에서, 응답 데이터 생성부(36)는 검색부(32)로부터의 패키지 데이터에, 사용자 단말(3)로부터의 리퀘스트 신호에 포함된 사용자 ID, 패키지 서버(1)를 식별하기 위한 서버 ID를 부가함으로써 응답 데이터를 생성한다. 생성된 응답 데이터는 검색부(32)를 통하여 부호화/암호화부(34)에 공급된다.
부호화/암호화부(34)는 프로토콜 변환, 필요한 암호화를 수행함으로써 공급된 응답 데이터를 처리하고, 처리된 응답 데이터를 통신 I/F(37)에 공급한다. 단계 S4에서, 통신 I/F(37)는 공급된 응답 데이터를 네트워크(2)를 통하여 리퀘스트 신호를 송신한 사용자 단말(3)로 송신한다. 이후, 통신 I/F(37)는 단계 S1로 진행하고, 이들 단계들이 반복적으로 실행된다.
도 8은 도 1에 도시된 사용자 단말의 기능적인 블록도를 도시한다.
이벤트-검출/셀렉터부(43)가 예를 들어 처리의 종료를 나타내는 이벤트 등을 검출할 때, 제어부(41)는 처리를 종료하는 제어를 실행한다. 제어부(41)가 사용자 단말(3)을 구성하는 각각의 기능 블록을 제어하지만, 제어를 나타내는 화살표와 같은 표시는 도면이 복잡하게 되는 것을 피하기 위해 생략하였다.
마우스와 같은 포인팅 디바이스는 지시부(42)로서 사용된다. 지시부(42)는 커서를 움직이도록 조작된다. 또한, 예를 들어, 키보드 또는 그 유사품이나, 마이크로폰 및 음성 인식 장치가 지시부(42)로서 사용될 수 있다.
이벤트 검출/셀렉터부(43)는 지시부(42)를 조작함으로써 생성된 이벤트를 검출하여, 이벤트에 대응하는 이벤트 신호를 제어부(41), 데이터 검색부(44), 선택 지시 검출부(45), 리퀘스트 신호 생성부(46), 컨텐트-식별자 저장부(47) 등에 공급한다.
이벤트의 유형은 예를 들어, 클릭킹, 더블 클릭킹, 및 지시부(42)로서 마우스를 사용하여 수행된 드래깅을 포함한다. 본 실시예에서, 지시부(42)로서의 마우스는, 예를 들어, 2개의 버튼 즉, 우측 버튼과 좌측 버튼을 갖고 있다. 이벤트-검출/셀렉터부(43)는, 서로 다른 이벤트로서, 좌측 버튼을 작동시켜 실행된 클릭킹 (좌측 클릭킹), 및 우측 버튼을 작동시켜 실행된 클릭킹 (우측 클릭킹)을 검출한다.
이벤트-검출/셀렉터부(43)로부터 공급된 이벤트 신호에 기초하여, 데이터 검색부(44)는 저장부(52)에 저장된 패키지 데이터를 구성하는 서브 데이터를 검색하여, 검색된 서브 데이터를 선택 지시 검출부(45) 및 표시부(51)에 공급한다.
선택 지시 검출부(45)는, 데이터 검색부(44)로부터의 서브 데이터를 참조하여, 이벤트-검출/셀렉터부(43)로부터 공급된 이벤트 신호를 기초로, 지시부(42)를 작동시키는 사용자에 의해 표시부(51) 상에 표시된 (서브 데이터로서) 텍스트 데이터 중에서 선택된 텍스트 데이터를 검출한다. 선택 지시 검출부(45)는 검출된 텍스트 데이터에 대응하는 링크 데이터를 리퀘스트 신호 생성부(46)에 공급한다.
리퀘스트 신호 생성부(46)는 선택 지시 검출부(45)로부터 공급된 링크 데이터로서 컨텐트 식별자를 포함하는 리퀘스트 신호를 생성하여, 생성된 리퀘스트 신호를 부호화/암호화부(48)에 공급한다. 또한, 리퀘스트 신호 생성부(46)는 이벤트-검출/셀렉터부(43)로부터의 이벤트 신호에 기초하여 컨텐트-식별자 저장부(47)에 저장된 컨텐트 식별자를 포함하는 리퀘스트 신호를 생성하여, 생성된 리퀘스트 신호를 부호화/암호화부(48)에 공급한다.
컨텐트-식별자 저장부(47)는 이벤트-검출/셀렉터부(43)로부터의 이벤트 신호에 기초하여 지시부(42)로서의 마우스로 드래그를 시작할 때 커서가 위치하는 웹 페이지 컨텐트를 식별하는 컨텐트 식별자로서 파일 명칭과 URL을 인식하여 저장한다. 컨텐트-식별자 저장부(47)는 항상 최종 컨텐트 식별자 (드래깅이 마지막 번에 실행되는 컨텐트의 컨텐트 식별자)를 저장한다.
부호화/암호화부(48)는 패키지 서버(1) 내의 부호화/암호화부(34)(도 3)에 의해 실행된 것과 동일한 처리를 실행함으로써 리퀘스트 신호 생성부(46)로부터 공급된 리퀘스트 신호를 처리한다. 처리된 신호는 통신 I/F(49)에 공급된다.
통신 I/F(49)는 공급된 리퀘스트 신호를 네트워크(2)를 통해 패키지 서버(1)에 전송하고, 패키지 서버(1)로부터 전송된 응답 데이터를 네트워크(2)를 통해 수신하여 복호화부(50)로 공급한다.
복호화부(50)는 패키지 서버(1) 내의 복호화부(35)(도 3)에서 실행된 것과 동일한 처리를 실행함으로써 통신 I/F(49)로부터의 응답 데이터를 처리한다.
표시부(8)는 데이터 검색부(44)로부터 공급된 서브 데이터, 복호화부(50)로부터 공급된 응답 데이터와 같은 패키지 데이터의 메인 데이터 등을 표시한다.
저장부(52)는 복호화부(50)로부터 공급된 응답 데이터로서 패키지 데이터를 저장한다.
사용자 단말(3)은 또한 WWW 브라우저로서 기능하는 기능 블록도 포함하지만, 도면이 복잡하게 되는 것을 피하기 위해 도 8에 도시되지는 않았다 (이것은 도 18 및 도 67에도 적용됨).
이제, 도 9, 도 10 내지 도 14a 및 도 14b에 도시된 플로우차트를 참조하여, 사용자 단말(3)의 처리에 대해 이하 설명한다.
패키지 서버(1)로부터 패키지 데이터의 공급을 수취하는 응용 프로그램 (전용 브라우저(62))이 시작되도록 사용자 단말(3)이 동작될 때, 도 10에 도시된 바와 같이, 표시부(51)는 패키지 데이터의 공급을 수취하는 전용 브라우저(62)의 윈도우를 표시하고, 또한 WWW 브라우저(60)의 윈도우를 표시할 수도 있다.
WWW 브라우저(60)는 WWW 서버(4)로부터, 사용자 또는 프리셋 URL에 의해 지정된 URL에 대응하는 웹 페이지를 요청하기 위해 네트워크(2)를 사용한다. 그 결과, WWW 서버(4)로부터 전송된 웹 페이지가 표시된다.
전용 브라우저(62)는 링크 표시부(62A) 및 아이콘 등록부(62B)로 구성된다. 이 실시예에서, 전용 브라우저(62)의 하부 부분은 아이콘 등록부(62B)로서 사용되고, 전용 브라우저(62)의 상부 부분은 링크 표시부(62A)로서 사용된다.
표시부(51)는 WWW 브라우저(60) 및 전용 브라우저(62) (의 윈도우) 뿐만 아니라, 지시부(42)에 의해 작동가능한 커서(61)를 표시한다. 단계 S11에서, 처리는지시부(42)로서 마우스를 작동시킴으로써, WWW 브라우저(60) 상에 표시된 컨텐츠들 중 하나가 전용 브라우저(62)의 아이콘 등록부(62B) 상에서 드래깅되고 드롭핑될 때 이벤트가 발생했는 지의 여부를 판정한다. 즉, 처리는 드래깅 및 드롭핑이 실행되었는 지의 여부를 판정한다.
단계 S11에서, 처리가 드래깅 및 드롭핑이 실행되었는 지의 여부를 판정했으면, 처리는 단계 S12로 진행한다. 단계 S12에서, 이벤트-검출/셀렉터부(43)는 리퀘스트 신호 생성부(46)에 판정을 나타내는 이벤트 신호를 공급한다. 리퀘스트 신호 생성부(46)는 이벤트-검출/셀렉터부(43)로부터의 이벤트 신호에 기초하여 컨텐트-식별자 저장부(47)를 참조함으로써 드래깅을 시작할 때 커서(61)가 위치한 컨텐트의 컨텐트 식별자를 검출한다.
그 후, 처리는 단계 S13으로 진행한다. 단계 S13에서, 리퀘스트 신호 생성부(46)는 단계 S12에서 검출된 컨텐트 식별자 및 사용자 단말(3) (의 사용자)에 할당된 사용자 ID를 포함하는 컨텐트 식별자에 대응하는 패키지 데이터를 요청하는 리퀘스트 신호를 생성하여, 부호화/암호화부(48)를 통해 통신 I/F(49)로 생성된 리퀘스트 신호를 공급한다. 단계 S14에서, 통신 I/F(49)는 부호화/암호화부(48)를 통해 공급된 리퀘스트 신호를 패키지 서버(1)로 송신한다.
그 다음, 처리는 단계 S15로 진행한다. 단계 S15에서, 후술한 바와 같이, 이벤트 검출/셀렉터부(43)는 커서(61)가 전용 브라우저(62)의 링크 표시부(62A) 또는 아이콘 등록부(62B) 내에 표시된 아이콘으로 이동된 후에 이벤트가 일어났는지의 여부를 결정하여, 지시부(42)로서 마우스의 오른쪽 클릭을 수행함으로써 동작시킨다. 이벤트 검출/셀렉터부(43)는 오른쪽 클릭이 수행되지 않았다고 판단되면, 처리는 단계 S21로 진행한다.
단계 S21에서, 처리는, 통신 I/F(49)가 패키지 서버(1)가 (후술되는) 단계 S14 또는 단계 S20에서 송신된 리퀘스트 신호에 응답하여 송신하는 패키지 데이터로서 응답 데이터를 수신할 지의 여부를 결정한다.
단계 S21에서, 처리가 통신 I/F(49)가 응답 데이터를 수신하였음을 검출하면, 통신 I/F(49)는 복호화부(50)를 통해 표시부(51)와 저장부(52)로 응답 데이터로서 패키지 데이터를 공급한다. 그 후, 처리는 단계 S22로 진행한다.
단계 S22에서, 저장부(52)는 복호화부(50)를 통해 공급된 패키지 데이터를 저장하고, 처리는 단계 S23으로 진행한다. 단계 S23에서, 표시부(51)는 전용 브라우저(63)의 링크 표시부(62A) 또는 아이콘 등록부(62B) 내에, 복호화부(50)를 통해 공급되는 패키지 데이터를 구성하는 아이콘 데이터에 대응하는 아이콘을 표시한다. 처리는 단계 S24로 진행한다.
패키지 서버(1) (특히, 데이터베이스(31))는, 패키지 데이터가 컨텐트들 중의 일부와 동일한 컨텐트 식별자들과 관련되도록, 웹 페이지를 형성하는 컨텐트들을 나타내는 (예를 들어, 컨텐트가 GIF-포맷 이미지 데이터인 경우, 그 아이콘이 이미지 데이터로 표현되는 이미지를 축소시켜 형성되는) 아이콘에 대응하는 아이콘 데이터를 갖는 패키지 데이터를 저장한다. 따라서, 도 11에 도시된 바와 같이, WWW 브라우저(60)에 표시된 웹 페이지의 이미지 컨텐트를 드래깅하여 아이콘 등록부(62B)에 드롭핑하면, 단계 S11 내지 단계 S15 및 단계 S21 내지 단계 S23이 차례로 수행된다. 그 결과로서, 아이콘 등록부(62B)에서, 이미지 컨텐트를 나타내는 아이콘(63)이 표시된다.
단계 S24에서, 이벤트 검출/셀렉터부(43)는 지시부(42)로서 마우스가 전용 브라우저(62)를 종료하는 동작을 행하였는지의 여부를 판별한다. 이벤트 검출/셀렉터부(43)가 이 동작을 행하지 않았음이 판별되면, 이벤트 검출/셀렉터부(43)는 단계 S11로 돌아간 다음, 동일한 단계들을 수행한다.
단계 S15에서, 이벤트 검출/셀렉터부(43)는 커서(61)가 링크 표시부(62A) 또는 아이콘 등록부(62B) 내에 표시된 아이콘 상으로 이동될 때 이벤트가 발생되었음을 판단하고, 입력부(42)로서 마우스를 이용하여 오른쪽 클릭을 수행하고, 이벤트 검출/셀렉터부(43)는 단계 S16으로 진행한다. 단계 S16에서, 데이터 검색부(44)에 오른쪽 클릭을 나타내는 이벤트 신호를 제공함으로써, 이벤트 검출/셀렉터부(43)는 데이터 검색부(44)를 제어하여, 저장부(52)로부터, 오른쪽 클릭이 수행될 때 커서의 위치의 아이콘에 대응하는 아이콘 데이터와 짝을 이루는 텍스트 데이터를 검색한다.
단계 S17에서, 저장부(52)로부터 텍스트 데이터를 검색하면, 데이터 검색부(44)는 표시부(51) 상에 항목과 같은 텍스트 데이터를 포함하는 (풀다운 메뉴 및 풀업 메뉴를 포함하는) 팝업 메뉴를 생성하여 표시한다. 이하, 팝업 메뉴는, 예를 들어, 풀다운 메뉴를 사용하여 설명된다.
예를 들어, 도 11의 아이콘 등록부(62B) 내의 아이콘(63)이 음악가의 얼굴 사진일 때, 패키지 데이터가 형성되도록 음악가에 의해 불리우는 음악 작품의 곡명을 나타내는 텍스트 데이터와 상기 아이콘(63)에 대응하는 아이콘 데이터의 쌍을 이룬다. 따라서, 이 경우, 아이콘(63) 상에서 오른쪽 클릭을 수행함으로써, 텍스트 데이터로서 곡명을 포함하는 풀다운 메뉴(64)가 도 12a에 도시된 바와 같이 표시된다.
표시부(51)가 풀다운 메뉴(64)를 표시한 후, 처리는 단계 S17에서 단계 S18로 진행한다. 단계 S18에서, 지시부(42)를 이용하여 항목들 중의 하나가 사용자에 의해 선택될 때, 이벤트 검출/셀렉터부(43)는 이 선택을 검출하고, 데이터 검색부(44)와 선택 지시 검출부(45)로 상기 검출에 대응하는 이벤트 신호를 공급한다. 이 이벤트 신호를 수신할 때, 데이터 검색부(44)는, 저장부(52)로부터, 지시부(42)를 작동시키는 사용자에 의해 선택된 풀다운 메뉴의 항목들 중 텍스트 데이터에 대응하는 링크 데이터를 검색한다. 검색된 링크 데이터는 선택 지시 검출부(45)로 공급된다. 선택 지시 검출부(45)는 데이터 검색부(44)로부터 리퀘스트 신호 생성부(46)로 링크 데이터로서 컨텐트 식별자를 제공하고, 이에 의해 단계 S19에서, 리퀘스트 신호 생성부(46)가 선택 지시 검출부(45)로부터 공급된 컨텐트 식별자를 포함한 리퀘스트 신호를 생성한다.
리퀘스트 신호 생성부(46)는 부호화/암호화부(48)를 통해 통신 I/F(49)로 단계 S19에서 생성된 리퀘스트 신호를 공급한다. 단계 S20에서, 통신 I/F(49)는 네트워크(2)를 사용하여 부호화/암호화부(48)로부터 공급된 리퀘스트 신호를 패키지 서버(1)로 송신한다. 그 후, 처리가 단계 S21로 진행하고, 이어서 동일 단계들이 수행된다. 단계 S24에서, 이벤트 검출/셀렉터부(43)는 지시부(42)로서 마우스가전용 브라우저(62)를 종료하는 동작을 수행했음이 결정되면, 제어부(41)는 WWW 브라우저(60)와 전용 브라우저(62)를 닫고, 처리를 종료한다.
따라서, 곡명의 풀다운 메뉴가 도 12a에 도시된 바와 같이 표시되는 동안, 커서(61)가 곡명들 "ΔΔΔ" 중의 하나로 이동할 때, 사용자는 예를 들어 마우스의 왼쪽을 클릭함으로써 곡명을 선택하고, 곡명 "ΔΔΔ"를 나타내는 텍스트 데이터에 대응하는 링크 데이터로서 컨텐트 식별자를 패키지 서버(1)로 송신한다.
또한, 곡명을 나타내는 텍스트 데이터에 상응하는 링크 데이터인 컨텐트 식별자와 상관된 패키지 데이터 내에 음악을 포함한 앨범 자켓의 축소된 이미지를 나타내는 아이콘 데이터가 포함되었다고 가정하면, 패키지 데이터는 패키지 서버(1)로부터 사용자 단말(3)로 응답 데이터로서 전송된다.
상술한 바와 같이, 패키지 데이터는 단계 S22에서 저장부(52)에 저장되고, 패키지 데이터의 아이콘 데이터에 상응하는 아이콘이 표시부(51)에서 표시된다.
도 13a에 도시된 바와 같이, 전용 브라우저(62)는 사용자에 의해 선택된 악곡을 포함하는 앨범 자켓의 이미지가 축소된 형태로 아이콘(65)을 표시한다.
본 실시예에서, WWW 브라우저(60)상의 컨텐트가 드래깅되어 아이콘 등록부(62B) 쪽으로 드롭핑되었을 때, 컨텐트에 상응하는 아이콘이 아이콘 등록부(62B)에 표시된다. 또한, 패키지 데이터의 텍스트 데이터 (서브 데이터)가 링크되는, 패키지 데이터의 아이콘 데이터에 상응하는 아이콘이 링크 표시부(62A)에 표시된다. 따라서, 도 13a에 도시된 바와 같이, 전용 브라우저(62)의 링크 표시부(62A)는 자켓 이미지 아이콘(65)을 표시하는데, 이 자켓 이미지 아이콘(65)은아이콘 등록부(62B)의 아이콘(63)에 우 클릭함으로써 표시되는 풀다운 메뉴(64) (도 12b) 중에서 선택된 곡명인 텍스트 데이터로부터의 링크를 갖는 패키지 데이터의 아이콘 데이터에 상응한다.
아이콘 등록부(62B)에 표시되는 아이콘이 아이콘 등록부(62B)에 등록되고, 만약 전용 브라우저(62)가 닫힌다면 아이콘에 상응하는 아이콘 데이터를 포함하는 패키지 데이터는 저장부(52)에 저장된 채로 남는다. 역으로, 링크 표시부(62A)에 표시된 아이콘을 구비한 패키지 데이터는, 예를 들어, 전용 브라우저(62)가 닫힐 때 저장부(52)에서 소거된다. 따라서, 그 후에 전용 브라우저(62)가 다시 열렸을 때, 아이콘 등록부(62B)에 등록된 아이콘이 표시되지만 링크 표시부(62A)에 표시되는 아이콘은 표시되지 않는다.
커서(61)가 링크 표시부(62A)에서 표시된 자켓 이미지 아이콘(65) 쪽으로 이동하였을 때, 그리고 사용자가 지시부(42)인 마우스를 좌 클릭하였을 때, 링크 표시부(62A)는 도 13b에 도시된 바와 같이 아이콘(65)에 상응하는 아이콘 데이터와 쌍을 이루는 텍스트 데이터인 항목을 가진 풀다운 메뉴(66)를 표시한다.
풀다운 메뉴(66)는 도 13b에 도시된 바와 같이 아이콘(65)에 의해 표시되는 앨범의 컨텐츠의 시청, 컨텐트의 구입, 및 가사 표시를 나타내는 항목들로 구성된다. 도 13c에 도시된 바와 같이, 사용자는 커서(61)를 구입 항목으로 이동시키고 지시부(42)를 좌 클릭함으로써 아이콘(65)에 의해 표시되는 앨범의 음악 데이터의 구입을 선택한다. 그러면, 상기 경우와 동일하게 리퀘스트 신호는 사용자 단말(3)로부터 전송된다. 리퀘스트 신호에 응답하여 구입 항목의 텍스트 데이터가 링크된패키지 데이터가 패키지 서버(1)로부터 사용자 단말(3)로 전송된다. 링크 표시부(62A)에서 패키지 데이터의 아이콘 데이터에 상응하는 아이콘(67)은 예를 들어, 도 13d에 도시된 바와 같이 링크 표시부(62A)에서 최후로 표시된 아이콘(65)의 우측에 표시된다.
도 13c에 도시된 풀다운 메뉴의 구입 항목의 텍스트 데이터는 음악 데이터를 구입하는 경우에 결제를 나타내는 아이콘(67)의 아이콘 데이터를 포함하는 패키지 데이터에 링크된다. 도 13d에서 상기 아이콘(67)은 링크 표시부(62A)에 표시된다.
또한, 사용자가 커서(61)를 링크 표시부(62A)에 표시된 결제 아이콘(67) 쪽으로 이동시켰을 때, 링크 표시부(62A)는 상기 경우와 마찬가지로 도 14a에 도시된 풀다운 메뉴(68)를 표시하는데, 이 풀다운 메뉴는 아이콘(67)에 상응하는 아이콘 데이터와 쌍을 이루는 텍스트 데이터에 상응하는 항목으로 구성된다.
풀다운 메뉴(68)는 신용 카드 지불, 전자 화폐 지불 및 편의점에서의 지불을 나타내는 항목으로 특징적으로는 구성되는데, 이들은 아이콘(67)에 의해 표시되는 결제 방법이다. 사용자가 커서(61)를 상응하는 항목으로 이동시키고 지시부(42)를 좌 클릭함으로써 상기 방법 중 하나를 선택하였을 때, 전용 브라우저(62)는 선택된 결제 방법에 상응하는 처리를 실행한다.
예를 들어, 신용 카드 지불이 선택되었을 때, 사용자 단말(3)의 전용 브라우저(62)는 신용 카드 번호 등을 입력하기 위한 다이얼로그 박스를 표시한다. 신용카드 번호 등이 입력되었을 때, 전용 브라우저(62)는 그 데이터가 사용자가 선택하여 구입한 음악 데이터를 대표하는 음악 식별 정보와 함께, 구입 정보인 입력 정보를 패키지 서버(1)로 전송한다.
구입 정보에서 신용 카드 번호는 지불을 실행하기 위해 패키지 서버(1)의 과금 처리부 (도 3)에서 사용된다.
패키지 서버(1)는 네트워크 상의 데이터베이스(도시되지 않음) 및 서버(도시되지 않음)로부터 사용자 단말(3)로부터의 구입 정보에 포함된 음악 식별 정보에 의해 특정된 음악 데이터를 획득한다. 획득된 데이터는 사용자 단말(3)로 전송된다.
사용자 단말(3)은 상술한 바와 같이 패키지 서버(1)로부터 전송된 음악 데이터를 다운로드받고, 예를 들어 휴대용 메모리 등에 다운로드받은 데이터를 저장한다.
상술한 바와 같이, 전용 브라우저(62)는 정보 등을 나타내는 각각의 아이콘을 표시하고, 그 아이콘에 상응하는 풀다운 메뉴를 표시한다. 풀다운 메뉴의 항목이 선택되었을 때, 항목에 상응하는 텍스트 데이터가 링크된 패키지 데이터의 아이콘이 반복적으로 표시되어, 사용자가 동일 작동을 실행함으로써 소망하는 정보에 획득할 수 있게 된다.
음악 데이터를 전송하기 직전에, 패키지 서버(1)는 사용자 단말(3)에 데이터가 다운로드되고 있다는 것을 표시하는 아이콘(69)의 아이콘 데이터 (패키지 데이터가 아님)를 전송할 수 있다. 이 경우에, 사용자 단말(3)의 전용 브라우저(62)는, 예를 들어, 링크 표시부(62A)에 최후로 표시되는 아이콘(67)의 우측에 아이콘(69)을 표시한다. 패키지 서버(1)에서 풀 다운 메뉴(68)의 아이콘에 상응하는 텍스트 데이터를 아이콘(69)의 아이콘 데이터를 포함하는 패키지 데이터로 링크함으로써, 사용자가 항목 중 임의의 것을 좌 클릭하였을 때, 아이콘(69)의 아이콘 데이터를 포함하는 패키지 데이터가 사용자 단말(3)로 전송될 수 있다.
이 경우에, 링크 표시부(62A)에서 신규 아이콘은 최후의 표시된 아이콘에 표시된다. 그러나, 새로운 아이콘이 이미 표시된 아이콘을 덮어쓰는 형태로 표시될 수 있다.
아이콘 등록부(62b)는 복수의 영역으로 분할될 수 있고, 동일한 카테고리 정보와 관련한 아이콘이 각각의 영역에 등록될 수 있다. 즉, 아이콘 등록부(62b)에서, 음악, 영화 및 뉴스와 같은 카테고리에 속하는 아이콘들은, 아이콘이 카테고리에 대응하는 다른 영역에 등록되는 형태로 표시될 수 있다.
상기의 경우에, 전용 브라우저 (의 윈도우)(62)는 링크 표시부(62a) 및 아이콘 등록부(62b)의 두 개의 영역으로 분할된다. 그러나, 전용 브라우저(62)는 상술한 바와 같이 분할될 필요가 없고 단일 영역으로 형성될 수도 있다.
상기의 경우에, 전용 브라우저(62)가 닫힌 때, 저장부(52)에는, 아이콘 등록부(62b)에 표시된 각각의 아이콘을 포함하는 패키지 데이터만이 저장되고, 링크 표시부(62a)에 표시된 각각의 아이콘을 포함하는 패키지 데이터가 삭제된다. 그러나, 모든 패키지 데이터는 저장부(52)에 저장될 수 있다. 이 경우에, 전용 브라우저(62)가 다시 열릴 때, 전용 브라우저(62)는 아이콘 등록부(62b)에 등록된 아이콘 및 사용자에 의해 추적된 패키지 데이터의 아이콘 시퀀스를 표시하여 개시점으로서 표시된 아이콘을 이용한다. 따라서, URL과 같은 웹 페이지를 특정하는 정보가 아니라, 사용자에 의해 추적된 소위 "북마크"가 아이콘이라는 시각적 매체 형태로 실현될 수 있다. 아이콘 등록부(62b)에서, 웹 페이지를 형성하는 내용을 나타내는 아이콘이 등록된다. 이러한 관점에서, 북마크가 웹 페이지의 단위에서가 아닌 내용 단위로 실현된다.
상기 경우에, 사용자가 전용 브라우저(62)에 표시된 아이콘으로 커서(61)를 이동시킬 때, 아이콘에 대응하는 아이콘 데이터와 쌍을 이룬 텍스트 데이터로 구성되는 풀다운 메뉴가 표시된다. 그러나, 풀다운 메뉴를 표시하는 일은 오른쪽 클릭에 한정되지 않는다. 예를 들어, 풀다운 메뉴는 커서(61)가 아이콘에 위치된 때 표시될 수 있다. 또한, 풀다운 메뉴 항목의 선택과 같은 다른 동작을 하는 일은 상술된 일에 한정되지 않는다.
상기 경우에, 음악 데이터가 마지막으로 다운로드될 때, 패키지 서버(1)는 음악의 값이 지불되도록 과금을 수행한다. 또한, 패키지 데이터의 공급에 대해 필요한 과금이 수행될 수 있다.
상기 경우에, 음악 데이터의 다운로딩이 수행된다. 그러나, 음악 데이터와 같은 사운드 데이터 (오디오 데이터) 외에도, 영화 데이터, 프로그램 등과 같은 이미지 데이터 (비디오 데이터)가 다운로드될 수 있다. 상기의 경우에, 음악 데이터의 다운로딩이 패키지 서버(1)로부터 수행되지만, 네트워크(2)의 다른 서버로부터 수행될 수 있다.
패키지 서버(1)로부터 다운로드된 패키지 데이터를 사용함으로써, 사용자 단말(3)은 저장부(52)에 기억된 패키지 데이터를 갱신할 수 있다. 예를 들어, 패키지 서버(1)에서 (도 3), 아이콘 데이터 또는 데이터베이스(1)에 기억된 텍스트 데이터가, 갱신 이후에 획득된 패키지 데이터를 이용함으로써 갱신될 때, 사용자 단말(3)의 저장부(52)에 기억된 패키지 데이터가 갱신될 수 있다.
소위 "푸시(push) 기술" 이 저장부(52)에서 패키지 데이터를 갱신하는 방법으로서 이용될 수 있다. 특히, 리퀘스트 신호 생성부(46)는 저장부(52)에 기억된 패키지 데이터에 대응하는 컨텐츠 식별자를 포함하는 리퀘스트 신호를 주기적으로 또는 비주기적으로 패키지 서버(1)에 생성하고 송신함으로써, 저장부(52)에 저장된 패키지 데이터는 패키지 서버(1)로부터의 리퀘스트 신호에 응답하여 송신된 패키지 데이터를 이용함으로써 갱신될 수 있다.
또한, 고유한 단말 ID가 사용자 단말(3)에 할당되고, 커텐츠 식별자가 사용자 단말(3)의 단말 ID와 관련되도록 패키지 서버(1)가 사용자 단말(3)에 의해 다운로드된 컨텐츠 식별자 또는 패키지 데이터를 저장하는 한편, 사용자 단말(3)이 IP 어드레스가 단말 ID와 관련되도록 네트워크(2)에 접속할 때 할당된 IP(Internet Protocol) 어드레스를 패키지 서버(1)에 송신함으로써, 저장부(52)에 저장된 패키지 데이터가 갱신될 수 있다.
이 경우에, 사용자 단말(3)로부터 IP 어드레스 및 단말 ID를 수신할 때, 패키지 서버(1)는 단말 ID와 관련된 컨텐츠 식별자의 패키지 데이터 중에서 갱신된 패키지 데이터를 검출하여, 단말 ID로 송신된 IP 어드레스에 의해 나타낸 목적지로 갱신된 패키지 데이터를 송신함으로써, 사용자 단말(3)은 저장부(52)에 저장된 패키지 데이터 중에서 갱신된 패키지 데이터를 수신할 수 있다.
상술된 바와 같이, 사용자 단말(3)의 저장부(52)에 저장된 패키지 데이터가 갱신될 때, 전용 브라우저(62)에 표시된 아이콘 및 아이콘에 대응하여 표시된 풀다운 메뉴의 항목이 필요한 때 또는 매 순간 변화한다. 이는 사용자로 하여금 아이콘 및 항목에 관심을 가지게 할 수 있다.
상기의 경우에, 패키지 데이터의 메인 데이터는 아이콘 데이터이고, 메인 데이터와 쌍을 이룬 서브 데이터는 텍스트 데이터이다. 따라서, 텍스트 데이터로 구성된 풀다운 메뉴를 봄으로써, 사용자는 텍스트를 토대로 정보를 인식할 수 있다.
예를 들어, 도 12a 및 도 12b에 도시된 바와 같이, 예술가의 얼굴 사진을 표시하는 아이콘(63)을 오른쪽 클릭함으로써 표시되는 풀다운 메뉴(64)는 텍스트로 그 예술가에 의해 불려진 음악의 이름을 텍스트로 표시한다. 이로써, 사용자는 음악명을 알 수 있다. 그러나, 텍스트로 음악명을 알기 원하는 사용자 외에도, 음악을 실제로 듣기 원하고 예술가의 음악을 포함한 앨범 자켓의 이미지를 보기 원하는 것과 같은 많은 유형의 사용자가 있다.
따라서, 패키지 서버(1)의 데이터베이스(31)에서 텍스트, 이미지 데이터, 및 사운드 데이터와 같은 미디어 데이터 중에서, 데이터 타입이 메인 데이터로서 사용되고, 적어도 두 가지 타입의 데이터가 서브 데이터로서 사용되는 패키지 데이터가 저장됨으로써, 패키지 데이터는 패키지 서버(1)로부터 사용자 단말(3)로 제공될 수 있다.
이 경우에, 데이터베이스(31)의 데이터 저장부에서의 각 엔트리에 (도 3), 도 15에 도시된 패키지 데이터가 저장된다.
이 경우에, 패키지 데이터는 헤더와, 이미지 데이터, 텍스트 데이터 및 사운드 데이터 중 하나인 메인 데이터와, 한 쌍의 텍스트 데이터 및 텍스트에 대한 링크 데이터, 한 쌍의 이미지 데이터 및 이미지에 대한 링크 데이터 및 한 쌍의 사운드 데이터 및 사운드에 대한 링크 데이터로 구성되는 서브 데이터로 순차적으로 배열되어 형성된다.
헤더, 텍스트 데이터 및 텍스트에 대한 링크 데이터는 패키지 데이터에서 헤더, 텍스트 데이터 및 링크 데이터 (도 4b에 도시됨)와 각각 동일하다.
여기서, 이미지 데이터, 텍스트 데이터 및 사운드 데이터 중 하나의 데이터형이 메인 데이터로서 사용될 수 있다. 이미지 데이터 또는 텍스트 데이터가 메인 데이터로서 사용될 때, 이미지 또는 텍스트 데이터 형태로 메인 데이터가 표시될 수 있다. 그러나, 사운드 데이터가 메인 데이터로서 사용될 때는 사운드 데이터 형태로 메인 데이터가 표시될 수 있다. 대신에, 사운드 데이터를 나타내는 아이콘이 표시된다. 따라서, 사운드 데이터가 메인 데이터로서 사용될 때, 메인 데이터는 사운드 데이터 뿐만 아니라 사운드 데이터를 나타내는 아이콘에 대응하는 아이콘 데이터 또한 포함한다. 또한, 메인 데이터로서 이미지 데이터 및 텍스트 데이터는 이미지 데이터 및 텍스트 데이터를 나타내는 아이콘에 대응하는 아이콘 데이터를 포함한다.
서브 데이터로서 이미지 데이터 및 이미지용 링크 데이터 또는 서브 데이터로서 사운드 데이터 및 사운드용 링크 데이터는 매체가 텍스트가 아니라 이미지 또는 사운드인 것을 제외하고 도 4b에 도시된 텍스트 데이터 및 링크 데이터와 유사하다. 따라서, 이에 대한 설명은 생략한다.
이 경우에, 패키지 데이터는 도 16에 도시된 바와 같이, 이미지 데이터, 사운드 데이터, 및 텍스트 데이터중 하나인 한 세트의 메인 데이터와, 패키지 데이터와의 링크를 나타내는 링크 데이터와 연관된 필요한 수의 텍스트 데이터 #1 내지 #M1, 이미지 데이터 #1 내지 #M2, 및 사운드 데이터 #1 내지 #M3에 의해 구성된다. 또한, 이 경우에, 패키지 데이터에서, 서브 데이터로서 사용되는 텍스트 데이터, 이미지 데이터 및 사운드 데이터 각각은 다른 패키지 데이터에 링크될 수 있다 (심지어는 자신의 데이터에 링크될 수 있다). 그래서, 패키지 데이터를 기본 단위로서 사용함으로써, 복수의 패키지 데이터로 구성되는 링크 구조가 형성될 수 있다.
특히, 도 16에 도시된 바와 같이, 패키지 데이터의 메인 데이터는 이중 원으로 표시되고, 서브 데이터의 텍스트 데이터는 직사각형으로 표시되며, 서브 데이터의 이미지 데이터는 원형으로 표시되며, 서브 데이터의 사운드 데이터가 삼각형으로 표시될 때, 상기 멀티미디어의 데이터로 구성되는 패키지 데이터에서도, 패키지 데이터를 형성하는 각 매체의 (서브 데이터의) 데이터가 도 17에 도시된 바와 같이 다른 패키지 데이터에 링크될 수 있다. 이러한 링크를 반복적으로 수행함으로써, 무한한 패키지 데이터가 상호 링크되는 링크 구조가 이론적으로 실현된다.
도면을 간략화하게 하기 위해, 도 17은 각각이 메인 데이터 (이중 원형) 및 단일 텍스트 데이터로 구성된 서브 데이터 (직사각형), 단일 이미지 데이터 (원형), 및 단일 사운드 데이터 (삼각형)으로 구성된 패키지 데이터를 도시한다.
도 6a 및 도 6b에 도시된 경우와 유사하게, 상기 패키지 데이터가 멀티미디어의 데이터로 구성되더라도 트리 구조 또는 루프가 형성되는 구조로 형성될 수 있다.
다음으로, 도 18은 패키지 서버(1)가 멀티미디어 패키지 데이터를 제공하는 경우에서의 사용자 단말(3)의 구조를 도시한다. 도 18에서, 도 8에 블럭과 동일한 블럭은 동일 참조 번호로 표기된다.
도 18에서의 사용자 단말(3)은 멀티미디어 패키지 데이터를 형성하는 사운드 데이터를 출력하기 위한 스피커(53)가 제공되는 것을 제외하고는 기본적으로 도 3의 것과 동일하므로, 이에 대한 설명은 생략한다. 비록 데이터 검색부(44) 및 스피커(53)가 서로 직접 접속되지만, 스피커(53)는 또한 재생부의 기능을 갖는다. 따라서, 스피커(53)는 데이터 검색부(44)에 의해 검색된 디지탈 데이터로서의 오디오 데이터를 디지탈 형태에서 아날로그 형태로 변환시키고, 변환 데이터를 증폭시킴으로써 아날로그 오디오 신호를 재생하는 기능을 갖는다.
다음으로, 도 19, 및 도 20 내지 도 22에 도시된 플로우차트를 참조하여, 도 18에서의 사용자 단말(3) (의 전용 브라우저(62))에 의해 수행되는 처리를 이하 설명한다.
기본적으로, 단계 S31 내지 S43에서, 사용자 단말(3)은 도 9에 도시된 단계 S11 내지 단계 S23과 동일한 처리를 수행한다.
그러나, 단계 S41에서, 만약 사용자 단말(3)이 응답 데이터로서 멀티미디어 패키지 데이터를 패키지 서버(1)로부터 수신한 것으로 처리가 판단했다면, 처리는 단계 S42로 진행하고, 멀리미디어 패키지 데이터는 저장부(52)에 기억된다. 처리가 또한 단계 S43으로 진행하고, 표시부(51)에 의해 오픈된 전용 브라우저(62)는 멀티미디어 패키지 데이터의 메인 데이터를 구성하는 이미지 데이터, 사운드 데이터 및 텍스트 데이터를 나타내는 아이콘을 표시한다. 그렇지 않으면, 이미디 데이터, 사운드 데이터 및 텍스트 데이터는 표시부(51)에 의해 표시되거나 스피커(53)로부터 출력된다.
단계 S35에서, 처리는 전용 브라우저(62) 상에 표시된 메인 데이터를 나타내는 아이콘 중 하나에 대해 우측 클릭 동작이 된 것을 결정하고, 처리는 단계 S36으로 진행한다. 단계 S36에서, 데이터 검색부(44)는 저장부(52)로부터 메인 데이터와 짝을 이루는 서브 데이터를 추출하고, 처리는 단계 S37로 진행한다. 단계 S37에서, 데이터 검색부(44)에 의해 추출된 서브 데이터를 형성하는 텍스트 데이터, 이미지 데이터, 또는 사운드 데이터가 표시부(51) 상에 표시되거나, 필요하다면 스피커(53)로부터 출력된다. 이 때, 전용 브라우저(62)는 다른 필수적인 것들을 표시한다. 예를 들어, 서브 데이터로서 텍스트 데이터가 풀다운 메뉴의 항목을 형성할 때, 풀다운 메뉴가 표시된다. 또한, 예를 들어, 서브 데이터로서 사운드 데이터에 있어서, 재생 제어 및 사운드 데이터 선택과 같은 동작을 위한 버턴이 표시된다.
단계 S38에서, 하나의 서브 데이터가 지시부(42)를 조작하는 사용자에 의해 선택될 때, 이벤트 검출/셀렉터부(43)는 선택된 서브 데이터를 검출하고, 데이터 검색부(44) 및 선택된 지시 검출부(45) 모두에 선택에 대응하는 이벤트 신호를 제공한다. 데이터 검색부(44)가 이벤트 신호를 수신할 때, 선택된 서브 데이터에 대응하는 링크 데이터는 저장부(52)로부터 추출되고, 데이터 검색부(44)에 의해 선택 지시 검출부(45)에 제공된다. 선택 지시 검출부(45)는 데이터 검색부(44)로부터 링크 데이터로서의 컨텐츠 식별자를 리퀘스트 신호 생성부(46)에 제공하며, 이로서 단계 S36에서, 리퀘스트 신호 생성부(46)는 선택 지시 검출부(45)로부터 제공된 컨텐츠 식별자를 포함하는 리퀘스트 신호를 생성한다.
단계 S40에서, 리퀘스트 신호는 패키지 서버(1)에 전송된다. 패키지 서버(1)는 리퀘스트 신호에 포함되는 컨텐츠 식별자에 의해 지정된 멀티미디어 패키지 데이터를 응답 데이터로서 사용자 단말(3)에 전송한다. 단계 S40에서, 만약 처리가 사용자 단말(3)의 통신 I/F(49)가 응답 데이터로서 멀티미디어 패키지 데이터를 수신한 것을 판단하면, 수신된 멀리미디어 패키지 데이터는 단계 S42에서 저장부(52)에 저장된다. 단계 S43에서, 이미지 데이터, 사운드 데이터 또는 텍스트 데이터와 같이, 패키지 데이터의 메인 데이터를 나타내는 아이콘이 전용 브라우저(62) 상에 표시되거나, 또는 이미지 데이터, 사운드 데이터 또는 텍스트 데이터가 표시부(51)에 표시되거나 스피커(53)로부터 사운드로서 출력된다.
따라서, 예를 들어, WWW 브라우저(60) 상에 표시된 이미지 컨텐츠가 도 20에 도시된 바와 같이 전용 브라우저(62)의 아이콘 등록부(62B)에 드래깅되고 드롭핑될 때, 이미지 컨텐츠의 컨텐츠 식별자에 의해 지정된 멀티미디어 패키지 데이터는 패키지 서버(1)로부터 다운로드되고, 멀티미디어 패키지 데이터의 메인 데이터는 전용 브라우저(62)의 아이콘 등록부(62B)에 표시된다.
도 20에서, 드래깅되고 드롭핑된 이미지 컨텐츠의 컨텐츠 식별자에 의해 지정된 멀티미디어 패키지 데이터의 메인 데이터는 아이콘 등록부(62B)에 표시된다. 메인 데이터가 사운드 데이터 또는 텍스트 데이터일 때, 사운드 데이터에 대응하는 사운드는 스피커(53)로부터 출력되거나, 텍스트 데이터에 대응하는 텍스트가 표시부(51) 상에 표시된다 (도 18). 또한, 사운드 데이터 또는 텍스트 데이터를 나타내는 아이콘이 아이콘 등록부(62B)에 표시될 수 있다. 메인 데이터가 이미지 데이터일 때에도, 이미지 데이터를 나타내는 아이콘은 아이콘 등록부(62B)에 표시될 수 있다.
전용 브라우저(62)의 아이콘 등록부(62B)가 이미지(71) 상으로 커서(61)를 이동시키고, 우측 클릭을 수행함으로써 이미지(71)를 표시한 후, 서브 데이터는 도 21에 도시된 바와 같이 (표시부(51)에 의한 표시 및 스피커(53)로부터의 출력 모두를 포함하여) 출력되어, 필요한 것이 표시된다.
도 21에서, 항목이 서브 데이터로서의 데이터인 풀다운 메뉴(72)가 표시부(51) 상에 표시된다. 서브 데이터에 대응하는 이미지(73)는 표시부(51) 상에 표시된다. 또한, 서브 데이터로서의 사운드가 스피커(53)로부터 출력되고, 사운드의 재생 제어를 수행하고 선택하기 위한 조작 패널(74)이 표시부(51) 상에 표시된다.
도 21에서, 메인 데이터로서 이미지(71)는 작가 얼굴의 사진의 이미지이고, 서브 데이터로서 풀다운 메뉴(72)는 그 작가의 곡을 나타내는 텍스트로 구성된다. 서브 데이터로서의 이미지들(73)은 그 이름이 풀다운 메뉴(72)의 항목으로 사용되는 곡들을 포함하는 앨범 자켓 사진의 이미지들이다. 서브 데이터로서의 사운드데이터는 그 이름이 풀다운 메뉴(72)의 항목으로 사용되는 곡들의 헤드의 사운드 데이터를 조합함으로써 얻어진다. 따라서, 스피커(53)는 그 이름이 풀다운 메뉴(72)의 항목으로 사용되는 곡들의 헤드를 순차적으로 출력한다. 조작 패널(74)은 스피커(53)로부터 출력된 곡의 되감기를 지시하는 되감기 버튼(74A), 빨리 감기를 지시하는 빨리 감기 버튼(74B), 곡의 재생을 지시하는 재생 버튼(74C), 조작의 정지를 지시하는 정지 버튼(74D), 및 곡 선택을 지시하는 선택 버튼(74E)을 포함한다.
따라서, 표시된 텍스트는 사용자로 하여금 곡명을 알 수 있게 하고 곡을 실제로 들을 수 있게 한다. 또한, 사용자는 곡들을 포함하는 앨범 자켓의 이미지를 볼 수 있다.
서브 데이터로서의 곡들의 헤드가 스피커(53)로부터 순차적으로 재생될 때, 선택 버튼(74E) 상에서 커서를 움직여서, 예를 들면 왼쪽 클릭, 즉 시간이 감지되는 재생되고 있는 곡들의 사운드 데이터의 선택을 행함으로써, 사운드 데이터에 대응하는 사운드용 링크 데이터로서의 컨텐트 식별자가 이 컨텐트 식별자가 리퀘스트 신호에 포함되는 형태로 패키지 서버(1)에 전송된다.
이 경우에, 컨텐트 식별자에 의해 특정된 멀티미디어 패키지 데이터의 메인 데이터가 예를 들어 사용자에 의해 선택된 곡 전체의 사운드 데이터일 때, 이와 같은 사운드 데이터가 메인 데이터로서 사용되는 멀티미디어 패키지 데이터는 패키지 서버(1)로부터 사용자 단말(3)로 전송된다. 사용자 단말(3)에서는, 도 22에 도시된 바와 같이, 멀티미디어 패키지 데이터의 메인 데이터로서 사용되는 사운드 데이터를 나타내는 아이콘(75)이 전용 브라우저(62)의 링크 표시부(62A)에 표시되고, 상기 사운드 데이터에 대응하는 곡이 스피커(53)로부터 출력된다.
아이콘(75)이 전용 브라우저(62)의 링크 표시부(62A)에 표시된 후에, 아이콘(75) 상으로 커서(61)를 이동하여 오른쪽 클릭을 행함으로써, 도 22에 도시된 바와 같이, 서브 데이터가 출력되고 필요한 사항들이 표시된다.
도 22에서는, 서브 데이터로서 텍스트 데이터를 포함하는 풀다운 메뉴(76)가 표시부(51) 상에 표시된다. 또한, 서브 데이터로서의 이미지들(77)이 표시부(51) 상에 표시되고 사운드의 재생 제어 및 사운드의 선택을 행하는 조작 패널(78)이 표시부(51) 상에 표시된다.
도 22에서는, 서브 데이터에 대응하는 풀다운 메뉴(76)가 서브 데이터와 쌍을 이루는 메인 데이터로서 사운드 데이터에 대응하는 곡들에 대한 각 해설자의 상세한 해설들을 나타내는 텍스트 형식을 갖는다. 서브 데이터에 대응하는 이미지들(77)은 그 설명이 풀다운 메뉴(76)의 항목들인 해설자들의 사진의 이미지이다.
도 22에서는, 서브 데이터로서 사운드 데이터가 풀다운 메뉴(76)의 항목들로서 설명들의 사운드 데이터를 조합함으로써 얻어진다. 그런데, 멀티미디어 패키지 데이터가 다운로드된 직후에, 스피커(53)는 멀티미디어 패키지 데이터의 메인 데이터인 사운드 데이터에 대응하는 곡을 출력한다. 서브 데이터로서의 사운드 데이터에 대응하는 설명은 출력되지 않는다.
서브 데이터로서의 사운드 데이터에 대응하는 설명은 예를 들어, 조작패널(78)을 조작함으로써 스피커(53)로부터 출력된다. 조작 패널(78)은 각각이 구성면에서 조작 패널(74)의 되감기 버튼(74A), 빨리 감기 버튼(74B), 재생 버튼(74C), 정지 버튼(74D), 및 선택 버튼(74E)과 동일한 되감기 버튼(78A), 빨리 감기 버튼(78B), 재생 버튼(78C), 정지 버튼(78D), 및 선택 버튼(78E)을 포함한다. 예를 들어, 사용자가 재생 버튼(78C)을 클릭할 때, 메인 데이터로서의 사운드 데이터에 대응하는 곡의 재생이 정지되고 서브 데이터로서의 사운드 데이터에 대응하는 설명의 재생이 시작된다.
그런데, 만약 서브 데이터로서의 사운드 데이터에 대응하는 설명의 재생이 시작되면, 메인 데이터로서의 사운드 데이터에 대응하는 곡의 재생을 중지하지 않고, 곡의 볼륨을 충분히 감소시켜 곡의 재생이 계속되도록 하는 것이 가능하다.
상기한 바와 같이, 사용자가 텍스트 형식의 곡 설명의 상세를 읽을 수 있고 사운드 형식의 곡의 설명의 상세를 들을 수 있다.
또한, 사용자는 해설자들의 이미지를 볼 수 있다.
상기 경우에, 도 21를 사용하여 설명된 바와 같이, 이미지(71)가 작가의 얼굴 사진의 이미지일 때, 작가의 곡들을 나타내는 텍스트 데이터, 곡들을 포함하는 앨범 자켓 사진의 이미지에 대응하는 이미지 데이터, 및 곡들에 대응하는 사운드 데이터가 서브 데이터로서 사용된다. 그런데, 서브 데이터로서 사용되는 텍스트 데이터, 이미지 데이터, 사운드 데이터는 단일 컨텐트를 갖는 데이터일 필요는 없고, 상이한 컨텐트를 갖는 데이터이어도 된다. 예를 들어, 서브 데이터와 관련하여, 텍스트 데이터는 작가의 곡들의 가사에 해당할 수도 있고, 이미지 데이터는 작가의 비디오 클립에 해당할 수도 있고, 사운드 데이터는 작가의 곡들에 대한 해설자들의 설명에 해당할 수도 있다.
상기 경우에, 패키지 서버(1)로부터 사용자에게로 공급되는 멀티미디어 패키지 데이터와 관련하여, 그 링크 구조와 멀티미디어 패키지 데이터 각각의 컨텐트는 패키지 서버측에서 결정된다. 따라서, 단일 컨텐트와 단일 링크 구조를 갖는 멀티미디어 패키지 데이터가 모든 사용자들에게 제공된다.
다시 말해, 도 23a에 도시된 바와 같이, 패키지 서버(1)에서, 멀티미디어 패키지 데이터(a,b,c,d,e)가 순차적으로 링크되어 있을 때, 모든 사용자가 주어진 순서로 링크를 따르지 않는다면 이들에게 멀티미디어 패키지가 제공될 수 없다. 패키지 서버(1)에서, 도 23b에 도시된 바와 같이, 메인 데이터와 쌍을 이루는 서브 데이터인, 몇몇 텍스트 데이터와, 몇몇 이미지 데이터와, 몇몇 사운드 데이터가 있을 때, 상기 몇몇 서브 데이터가 모든 사용자에게 제공된다.
도 16과 마찬가지로, 도 23a 및 도 23b에서 (후술될 도 24a 및 도 24b에서도), 각 이중 원은 멀티미디어 패키지 데이터 내의 메인 데이터를 나타내고, 각 직사각형, 각 원, 각 삼각형은 멀티미디어 패키지 데이터 내의 서브 데이터인 텍스트 데이터, 이미지 데이터, 및 사운드 데이터를 각각 나타낸다.
예를 들어, 사용자가 멀티미디어 패키지 데이터(a) 상의 링크를 따를 때, 멀티미디어 패키지 데이터(e)에 도달할 수 있는 사용자에게 있어서, 멀티미디어 패키지 데이터(a,b,c,d,e) 상의 링크를 이 순서대로 따르는데는 명백하게 시간이 걸린다. 예를 들어, 텍스트 데이터와 이미지 데이터를 모두 필요로 하지만 사운드 데이터는 필요로 하지 않는 사용자에게 있어서, 서브 데이터로서 사운드 데이터를 출력하는 것은 필요하지 않다.
따라서, 패키지 서버(1)는 각 사용자에 대해, 멀티미디어 패키지 데이터의 링크 구조와 각 멀티미디어 패키지의 컨텐트를 커스터마이징함으로써 멀티미디어 패키지 데이터를 제공할 수 있다.
구체적으로, 도 24a에 도시된 바와 같이, 패키지 서버(1)에서, 링크 구조는 멀티미디어 패키지 데이터(a)가 멀티미디어 패키지 데이터(e)에 링크되도록 변경될 수 있다. 또한, 도 24b에 도시한 바와 같이, 텍스트 데이터 및 이미지 데이터는 포함되고 사운드 데이터는 배제되도록 변경된 서브 데이터 형태로, 멀티미디어 패키지 데이터를 제공할 수 있다.
서브 데이터는, 서브 데이터로서 텍스트 데이터로 이루어진 각각의 풀다운 메뉴의 항목의 변경 (삭제 및 추가도 포함함)이나 그 항목 순서의 변경 등과 같이 커스터마이즈될 수 있다. 서브 데이터에는 링크 데이터가 수반되기 때문에, 풀다운 메뉴의 항목 (서브 데이터로서의 텍스트 데이터)의 추가 또는 삭제는 멀티미디어 패키지 데이터의 추가 또는 삭제가 된다.
도 25는 멀티미디어 패키지 데이터의 링크 구조 및 멀티미디어 데이터 각각의 컨텐츠를 커스터마이즈할 수 있는 패키지 서버(1)의 일례를 도시한 것이다. 도 25에서는, 도 3에 도시한 것에 대응하는 블록을 표기하는데 동일한 참조 번호를 사용함으로써, 그 블럭에 대한 설명을 생략한다. 다시 말하면, 도 25의 패키지 서버(1)는 사용자 정보 저장부(39)가 설치되어 있는 것을 제외하고는 기본적으로도 3에 도시한 것과 구조가 동일하다.
사용자에 관한 사용자 정보는 수집되어 사용자 정보 저장부(39)에 기억된다.
사용자 정보 저장부(39)에 기억된 사용자 정보는 도 26a에 도시된 사용자-기호 정보와 도 26b에 도시한 변경 정보로 이루어져 있다.
도 26a에 도시한 바와 같이, 사용자-기호 정보에는 각 사용자를 식별하기 위한 사용자 ID와 요청 횟수를 나타내는 요청-빈도 정보가 포함되어 있다. 요청-빈도 정보는 멀티미디어 패키지 데이터의 카테고리에 대응하여 분류되어 있다. 예를 들면, 도 26a에 도시된 바와 같이, 음악 관련 멀티미디어 패키지 데이터에 관해서는, 멀티미디어 패키지 데이터에 대한 요청 횟수가 음악의 각 장르 (예를 들면, 팝, 록, 연가(전통 일본 가요 등)), 아티스트의 각 활동 영역 (예를 들면, 일본, 미국, 유럽 각국 등) 및 아티스트의 성별 (예를 들면, 여성, 남성)에 따라 카운트된다. 카운트된 값은 요청-빈도 정보로서 등록된다.
도 26b에 도시한 바와 같이, 변경 정보는 사용자 ID, 사용자 ID에 대응하는 요청-빈도 정보에 기초하여 생성된 패키지-내용-변경 정보 및 링크-데이터-변경 정보로 이루어져 있다.
요청-빈도 정보에 기초하여 커스터마이즈된 (변경된) 서브 데이터의 변경 부분은 패키지-내용-변경 정보의 하나로서 등록된다. 요청-빈도 정보에 기초하여 커스터마이즈된 멀티미디어 패키지 데이터의 링크 구조의 변경 부분은 링크-데이터-변경 정보의 하나로서 등록된다.
도 25의 패키지 서버(1)에서는, 리퀘스트 신호가 사용자 단말(3)으로부터 전송되면, 응답-데이터 생성부(36)는 리퀘스트 신호에 포함된 사용자 ID에 대응하고 리퀘스트 신호에 의해 요청된 멀티미디어 패키지 데이터의 카테고리에 대응하는 요청-빈도 정보를 갱신한다. 갱신된 요청-빈도 정보에 기초하여, 응답-데이터 생성부(36)는 패키지-내용-변경 정보 및 링크-데이터-변경 정보를 갱신한다.
갱신된 패키지-내용-변경 정보 및 갱신된 링크-데이터-변경 정보를 참작하여, 응답-데이터 생성부(36)는 멀티미디어 패키지 데이터를 검색하도록 검색부(32)를 제어하거나 또는 검색된 멀티미디어 패키지 데이터의 컨텐츠를 변경하함으로써 응답 데이터가 작성된다.
따라서, 이 경우에, 패키지 서버(1)에서는, 사용자가 과거에 요청했던 멀티미디어 패키지 데이터로부터 사용자의 기호 및 습관 등의 사용자 정보가 수집되고, 수집된 사용자 정보에 기초하여 멀티미디어 패키지 데이터의 링크 구조 및 컨텐츠가 커스터마이즈되어 사용자에게 제공된다.
그 결과, 사용자는 사용자에 아주 편리한 형태로 멀티미디어 패키지 데이터를 제공받을 수 있다.
이 경우, 사용자는 멀티미디어 패키지 데이터를 제공받기 때문에, 사용자는 사용자가 보다 선호하는 컨텐츠 및 링크 구조를 갖는 멀티미디어 패키지 데이터를 제공받게 되어 사용자의 편의성이 증대된다. 이것은 서비스 제공측에 대해서는 사용자가 계속하여 서비스를 사용하고 사용자의 수가 증대될 수 있다는 것을 나타낸다.
상기한 경우에, 패키지 서버(1)에서는, 사용자의 기호 등의 정보가 수집되고, 수집된 정보에 기초하여 사용자에게 제공될 멀티미디어 패키지 데이터의 링크 구조 및 컨텐츠가 자동적으로 커스터마이즈된다. 사용자는 패키지-내용-변경 정보 및 링크-데이터-변경 정보를 패키지 서버(1)에 등록하도록 이러한 커스터마이즈를 행할 수 있게 된다. 또한, 사용자 단말(3)에 사용자 정보 저장부(39, 도 25)를 설치함으로써, 사용자는 사용자 단말(3)를 사용하여 커스터마이즈를 행할 수 있게 된다.
그러나, 링크의 목적지가 변경되도록 사용자가 커스터마이즈를 행하게 되는 경우, 변경된 목적지가 링크되어 있는 멀티미디어 패키지 데이터는 사용자에게 제공될 수 없게 된다. 이렇게 하여 사용자가 임의적으로 커스터마이징을 변경하는 것을 막게 된다.
게다가, 멀티미디어 패키지 데이터상의 링크의 목적지가 멀티미디어 패키지 데이터가 아닌 예를 들면 웹 페이지 등으로 변경될 수 있다. 이 경우, 웹 페이지가 멀티미디어 패키지 데이터로 링크되는 것을 방지 또는 허용할 수도 있다.
도 26a 및 도 26b에 도시된 사용자-기호 정보 및 변경 정보는 사용자 단말(3)에서 생성될 수 있다. 이 경우, 사용자 단말(3)는 변경 정보를 리퀘스트 신호내에 포함되어 있는 형태로 전송하게 된다. 패키지 서버(1)에서는, 리퀘스트 신호내에 포함된 변경 정보에 기초하여 링크 구조 및 컨텐츠를 갖는 멀티미디어 패키지 데이터가 생성되어 사용자 단말(3)로 전송된다. 또한, 이 경우에 사용자는 사용자에게 아주 편리한 형태로 멀티미디어 패키지 데이터를 제공받을 수 있다.
다음에, 패키지 데이터가 전술한 바와 같이 패키지 서버(1)로부터 사용자 단말(3)로 제공될 때, 광고 정보가 사용자에게 보여지도록 하는 것이 편리하다.
패키지 데이터의 출력에 따라 사용자에게 광고 정보가 보여지도록 하기 위해서는, 사용자 단말(3)에 서로 연관되어 있는 패키지 데이터와 광고 정보를 제공하고 사용자 단말(3)의 전용 브라우저(62)가 패키지 데이터와 광고 정보를 출력하도록 하는 방법이 있다. 이 방법에서는, 광고 정보가 사용자 단말(3)의 저장부(52, 도 8)에서 소거된 후에는, 광고 정보는 패키지 데이터가 출력될 때 출력될 수 없다. 광고 정보가 저장부에서 소거되지 않은 경우에는, 패키지 데이터의 파일이 전용 브라우저(62)가 아닌 다른 애플리케이션에 의해 열릴 때에도, 광고 정보는 출력될 수 없다.
그 외에, 예를 들면 패키지 데이터의 원래 부분 대신에 패키지 데이터를 구성하는 하위 몇 비트의 이미지 데이터 및 사운드 데이터에 광고 정보를 배치하는 종래의 디지털 워터마크 기술을 사용하여 사용자 단말(3)의 전용 브라우저(62)가 패키지 데이터 및 광고 정보를 출력하는 방법도 있다. 이 방법조차도, 광고 정보로 사용되는 하위 비트를 갖는 패키지 데이터의 파일이 전용 브라우저(62)가 아닌 다른 애플리케이션에 의해 열릴 때, 광고 정보를 출력할 수 있다.
따라서, 광고 정보가 사용자 단말(3)에 의해 패키지 데이터의 출력에 따라 사용자에게 보여지도록 하는 방법에 관해서는, 예를 들면, 본 출원의 양수인에게 양도된 미국 특허 출언에서 제안된 내장 부호화/복호화를 사용할 수 있다.
이 기술은 미국 특허 출원 제09/352,241호, 제09/366,872호, 제09/413,134호, 제09/413,983호, 제09/448,543호, 제09/587,838호 및 제09/636,138호에 개시되어 있다. 이들 출원은 본 출원의 양수인에게 양도된 것으로서, 참고로 여기에 포함한다.
몇몇 응용 분야에서의 기술이 이하 설명된다.
도 27은 내장 부호화/복호화를 수행하기 위한 내장 부호화/복호화의 실시예를 나타내고 있다.
내장 부호화/복호화는 부호화 장치(110)와 복호화 장치(120)를 포함하고 있다. 부호화 장치(110)는 예를 들어 부호화될 이미지를 부호화함으로써 부호화 데이터를 출력하고, 복호화 장치(120)는 이 부호화 데이터를 복호화하여 원래의 이미지를 생성한다.
이미지 데이터 베이스(101)는 부호화될 이미지(예를 들어, 디지털 이미지)을 저장한다. 이미지 데이터 베이스(101)로부터 이미지가 판독되어 내장 부호화부(103)에 공급된다.
부가 정보 데이터 베이스(102)는 부가 정보 (디지털 데이터)를 부호화될 이미지내에 내장될 정보로서 저장한다. 부가 정보 데이터 베이스(102)로부터, 부가 정보가 판독되어 내장 부호화 시스템(103)에 공급된다.
내장 부호화부(103)는 이미지 데이터 베이스(101)로부터 공급되는 이미지와 부가 정보 데이터 베이스(102)로부터 공급되는 부가 정보를 수신한다. 내장 부호화부(103)는 수신된 부가 정보에 기초하여 상기 수신된 이미지를 부호화함으로써 부호화 데이터를 출력하며, 수신된 이미지의 에너지 분포가 복호화를 수행하기 위해 사용된다. 즉, 내장 부호화부(103)는 이미지내에 부가 정보를 내장함으로써 이미지를 부호화하므로, 이미지의 에너지 분포는 복호화를 위해 사용되며, 그 부호화 데이터를 출력한다. 부호화 데이터는 광자기 디스크, 자기 디스크, 광디스크, 자기 테이프 혹은 상변화(phase-change) 디스크와 같은 저장 매체(104)에 기록되거나, 아니면, 지상파, 위성 링크, 인터넷, 혹은 공중선과 같은 전송 매체를 통해 복호화 장치(120)에 전송된다
복호화 장치(120)는 내장 복호화부(106)를 포함하고, 저장 매체(104) 혹은 전송 매체(105)를 통해 공급되는 부호화 데이터를 수신한다. 내장 부호화부(106)는 복호화를 수행하기 위해 이미지의 에너지 분배를 이용하며 초기 이미지와 부가 정보를 생성한다. 재생된 이미지는 모니터(도시생략)에 공급되어 표시된다.
초기 이미지에 관련된 텍스트 데이터 외에, 초기 이미지를 줄임으로써 얻어진 이미지와, 사운드 데이터, 초기 이미지와 관련되지 않은 데이터가 부가 정보로 사용될 수 있다.
다음에, 내장 부호화부(13)(도 27)에 의한 부호화 (내장 부호화)의 원리와, 내장 복호화부(106)(도 27)에 의한 복호화 (내장 복호화)의 원리를 설명한다.
일반적으로, "정보"라고 불리는 것은 에너지의 분포를 가지며, 이 분포는 정보로 인식된다 (가치있는 정보). 예를 들어, 장면을 촬영함으로써 얻어진 이미지는 이 이미지 (이미지를 구성하는 화소의 화소 레벨 등)이 그 장면에 대응하는 에너지 분포를 갖기 때문에 사람들에 의해 장면 이미지로 인식된다. 에너지 분포를 전혀 갖지 않는 이미지는 잡음 외에 아무것도 아니며, 정보로서 사용될 가치를 갖고 있지 않다.
따라서, 가치있는 정보에 대한 몇가지 처리가 수행되는 경우에도, 에너지의 초기 분포 정보는 파괴되고, 이 파괴된 에너지 분포를 복구함으로써, 그 처리가 행해진 정보는 초기 정보로 복구될 수 있다. 즉, 정보를 부호화함으로써 얻어지는 부호화 데이터는 에너지의 초기 분포 정보를 사용하여 초기의 가치있는 정보로 복구될 수 있다.
여기서, 정보의 에너지(분포)를 나타내는 것은 예를 들어, 상관성, 연속성, 그리고 유사성을 포함하고 있다.
정보의 상관성은 정보를 구성하는 요소들 (예를 들어, 정보가 이미지인 경우, 화소와 라인과 같은 이미지의 성분) 간의 상관 관계 (예를 들어, 자기 상관 관계, 한 구성 요소와 다른 구성 요소간의 거리 등)를 의미한다. 예를 들어, 이미지의 상관 관계를 나타내는 것은 이미지의 라인들 간의 상관 관계이며, 상관 관계를 나타내는 상관값은 예를 들어, 2 라인에 대응하는 화소 레벨의 차이의 제곱합일 수도 있다. 이 경우, 작은 상관값은 라인들간의 큰 상관값을 나타내지만, 큰 상관값은 라인들간의 작은 상관값을 나타낸다.
한 예로, 도 28에 도시한 바와 같이 수평 라인(H)(1102)을 포함하는 이미지(1101)이 있는 경우, 제1 라인(1103)과 또 다른 라인간의 상관 관계는 다음과 같다. 일반적으로, 도 29의 그래프 (A)에 도시한 바와 같이, 제1 라인(1103)으로부터 보다 작은 거리를 갖는 라인 (도 28에서의 이미지(1101)에서 위쪽에 위치함)은 제1 라인(1103)과 M번째 라인(1104) 사이의 상관 관계로 나타낸 바와 같이 보다 큰 상관 관계를 가지며, 제1 라인(1103)으로부터 보다 큰 거리를 갖는 라인 (도 28에서의 이미지(1101)에서 아래쪽에 위치함)은 제1 라인(1103)과 N번째 라인(1105) 사이의 상관 관계로 나타낸 바와 같이 보다 보다 작은 상관 관계를 갖는다. 따라서, 제1 라인(1103)으로부터 거리가 작을수록, 제1 라인(1103)으로부터의 상관 관계가 보다 크고, 그리고 제1 라인(1103)으로부터의 거리가 보다 클수록, 제1 라인(1103)으로부터의 상관 관계는 보다 작아진다는 점에 상관 관계의 분포가 있다.
따라서, 도 28의 이미지(1101)이 처리되는 경우, 제1 라인(1103)에 비교적 가까운 M번째 라인(1104)의 화소 레벨과, 제1 라인(1103)으로부터 비교적 먼 N번째 라인(1105)의 화소 레벨이 스위치되고 (1<M<N ≤H), 이러한 처리 이미지에서, 다른 라인들의 제1 라인(1103)의 상관 관계가 계산되며, 이 계산된 결과는 도 29의 그래프 (B)에 도시되어 있는 바와 같다.
처리된 이미지에서, 이 이미지에 가까운 제1 라인(1103)과 M번째 라인(스위칭 전의 N번째 라인 1105)간의 상관 관계는 작으며, 이 이미지로부터 멀리 있는 제1 라인(1103)과 M번째 라인 (스위칭 전의 M번째 라인(1104))간의 상관 관계는 크다.
따라서, 도 29의 그래프(B)에서, 상관 관계의 분포는 제1 라인(1103)으로부터 보다 작은 거리를 갖는 라인이 제1 라인에 대해 보다 큰 상관 관계를 갖고, 제1 라인(1103)으로부터 보다 큰 거리를 갖는 라인이 제1 라인에 대해 보다 작은 상관 관계를 가질 때 상실된다. 그러나, 제1 라인(1103)으로부터 보다 작은 거리를 갖는 라인이 제1 라인에 대해 보다 큰 상관 관계를 갖고 제1 라인(1103)으로부터 보다 큰 거리를 갖는 라인이 제1 라인에 대해 보다 작은 거리를 가질 때의 상관 관계의 분포를 이용함으로써, 상관 관계의 상실된 분포가 복구될 수 있다. 즉, 도 29의 그래프(B)를 참조하면, 이미지(1101)의 상관 관계의 초기 분포에 따라, 제1 라인(1103)과 이 제1 라인에 가까운 M번째 라인간의 상관 관계(1203)가 작고, 제1 라인(1103)과 이 제1 라인으로부터 멀리 있는 N번째 라인 간의 상관 관계(1204)가 크다는 것은 명백히 부자연스럽다 (이상하다). 따라서, M번째 라인과 N번째 라인이 스위치되어야 한다. 도 29의 그래프 (B)에서 M번째 라인과 N번째 라인을 스위칭함으로써, 도 29의 그래프(A)에 도시된 상관 관계의 초기 분포를 갖는 이미지 즉, 초기 이미지(1101)이 복구될 수 있다.
도 28과 도 29에 도시된 경우에, 라인의 스위칭은 이미지 부호화를 수행한다. 부호화시, 내장 부호화부(103)는 부가 정보에 기초하여 어느 라인이 제거되어야 하는지, 그리고 어느 라인이 스위치되어야 하는지를 판정한다. 내장 부호화부(106)는 부호화 이미지 (즉, 스위치 라인들을 갖는 이미지)의 상관 관계를 이용하여 이미지를 복호화하며 초기 이미지가 복구되도록 그 초기 위치로 라인을 스위칭한다. 복호화시, 내장 복호화부(106)는 예를 들어, 어느 라인이 제거되어야 하는지, 그리고 어느 라인이 스위치되었는지를 탐지하며, 이미지에 내장된 부가 정보를 복호화한다.
도 30은 도 27에 도시된 내장 부호화부(103)의 구조를 나타내는 것이며, 이 부호화부은 이미지에 부가 정보가 내장되는 내장 부호화를 수행하므로, 이미지는 이미지 상관 관계를 이용하여 복구될 수 있다.
이미지 데이터베이스(101)에서 프레임 메모리(131)로 이미지가 공급된다. 프레임 메모리(131)는 예컨대 프레임 단위로 이미지를 임시 저장한다.
CPU(132)는 프로그램 메모리(133)에 저장된 프로그램을 실행함으로써 내장 부호화 처리(후술됨)를 행할 수 있다. 즉, CPU(132)는 부가 정보 데이터베이스(102)에서 공급된 부가 정보를 소정의 비트 수 단위로 수신하여 이 부가 정보를 프레임 메모리(131)에 저장된 이미지에 상기 소정의 비트 수 단위로 내장할 수 있다. 구체적으로, CPU(132)는 프레임 메모리(132)에 저장된 이미지를 구성하는 화소들 중에서 일부 화소를 선택하고, 부가 정보에 대응하도록 선택된 화소를 처리하여 처리된 화소가 이미지 내의 상관 관계를 이용하여 복원될 수 있도록 함으로써 부가 정보를 선택된 화소에 내장한다.
프로그램 메모리(133)는 예컨대 ROM 또는 RAM으로 이루어지며, 내장 부호화를 행하도록 CPU(132)를 제어하기 위한 컴퓨터 프로그램을 저장한다.
출력 I/F(134)는 프레임 메모리(131)로부터 판독한 부가 정보 내장 이미지를 부호화 데이터로서 출력한다.
프레임 메모리(131)는 다수의 프레임을 저장하기 위한 다수의 뱅크로 구성된다. 뱅크를 스위칭함으로써, 프레임 메모리(131)는 이미지 데이터베이스(101)에서 공급된 이미지의 저장, CPU(132)에 의해 내장 부호화를 이용하여 처리될 이미지의 저장, 및 내장 부호화를 행함으로써 얻어지는 이미지 (부호화 데이터)의 출력을 동시에 행할 수 있다. 이것은 이미지 데이터베이스(101)에서 공급된 이미지가 동화상인 경우에도 부호화 데이터를 실시간으로 출력할 수 있게 해준다.
이어서, 도 31에 도시된 순서도를 참조하여, 내장 부호화부(103)에 의해 행해지는 내장 부호화 처리가 설명된다.
이미지 데이터베이스(101)에서 판독한 이미지가 프레임 메모리(131)에 프레임 단위로 공급되어 저장된다.
CPU(132)는 부가 정보 데이터베이스(102)로부터 부가 정보를 비트 단위로 수신한다. 단계 S101에서 1 비트의 부가 정보를 수신할 때, CPU(132)는 프레임 메모리(131)에 저장된 이미지로부터 1 비트 부가 정보가 내장되는 화소 (처리될 화소)를 선택한다.
이 실시예에서, 도 32에 도시된 바와 같이, 프레임 메모리(131)에 저장된 이미지로부터 소정의 패턴으로 화소들이 선택된다. 구체적으로, 단계 S101이 행해질 때마다, CPU(132)는 예컨대 라인 스캐닝 (래스터 스캐닝)의 순서로 도 32에 해칭되지 않은 화소들을 처리될 화소로서 순차적으로 선택할 수 있다. 도 32에서, p(x, y)는 좌로부터 x번째 열에 위로부터 y번째 행에 위치한 화소를 나타낸다 (이것은 후술되는 도 36에도 적용됨).
이후, 단계 S102에서, CPU(132)는 부가 정보 데이터베이스(102)에서 수신한 부가 정보가 "1" 또는 "0"인지를 판정한다. CPU(132)가 예컨대 수신된 부가 정보가 "0"인 것으로 판정한 경우, CPU(132)는 처리될 화소를 처리하지 않고 (소정의 상수로서 "0"을 더한 후) 단계 S101로 돌아간다. 단계 S101에서, CPU(132)는 부가 정보 데이터베이스(102)에서 전송될 다음 1 비트 부가 정보를 기다린다. 다음 1 비트 부가 정보를 수신한 때, CPU(132)는 처리될 다음 화소를 선택하여 위와 같은처리를 반복한다.
단계 S102에서, CPU(132)가 예컨대 부가 정보가 "1"인 것으로 판정한 경우, CPU(132)는 단계 S103으로 진행하여 처리될 화소에 소정의 처리를 행한다. 구체적으로, CPU(132)는 처리될 화소의 화소 레벨에 소정의 상수, 예컨대 2의 (이미지를 구성하는 화소들에 할당된 비트 수 - 1) 제곱을 더한다.
따라서, 예컨대 이미지를 구성하는 각 화소의 화소 레벨로서 8 비트가 할당된 때, 단계 S103에서, 처리될 각 화소의 화소 레벨에 27이 더해진다.
화소 레벨이 예컨대 YUV로 표현될 때 덧셈은 휘도 성분 Y 또는 칼라 성분 U 및 V에 대해 행해질 수 있다. 화소 레벨이 예컨대 RGB로 표현될 때에는 덧셈은 R, G 및 B 중 어느 하나에 대해 행해질 수 있다.
단계 S103에서 처리될 각 화소의 화소 레벨에 27이 더해진 후, CPU(132)는 단계 S104로 진행하여, 덧셈 결과가 오버플로우되었는지의 여부를 판정한다. 단계 S104에서, CPU(132)가 덧셈 결과가 오버플로우되지 않는 것으로 판정한 경우, CPU(132)는 단계 S105를 건너 뛰어 단계 S106으로 진행한다. 단계 S106에서, CPU(132)는 프레임 메모리(131)에 덧셈 결과를 처리될 각 화소의 화소 레벨로서 기록 (덮어쓰기)한다. 이후, CPU(132)는 단계 S101로 돌아간다.
단계 S104에서, CPU(132)가 덧셈 결과가 오버플로우된 것으로 판정한 경우, 즉 덧셈 결과가 28 이상인 때, CPU(132)는 단계 S105로 진행하여, 덧셈 결과가 수정된다. 즉, 단계 S105에서, 오버플로잉 결과가 예컨대 오버플로우 양 (오버플로우 결과에서 28을 감산하여 얻어진 값)으로 수정된다. 단계 S106으로 진행하여,CPU(132)는 프레임 메모리(131)에 수정된 결과를 처리될 각 화소의 화소 레벨로서 기록하고, 부가 정보 데이터베이스(102)에서 송신된 다음 1 비트 부가 정보를 수신한 때 단계 S101로 돌아간다.
프레임 메모리(131)에 저장된 1 프레임 이미지가 처리된 후, 프레임 메모리(131)는 처리된 1 프레임 이미지 (부가 정보 내장 이미지)을 부호화 데이터로서 판독하고, CPU(132)는 프레임 메모리(131)에 저장된 다음 1 프레임 이미지를 계속하여 처리한다.
전술한 바와 같이, 부가 정보에 대응하도록 프레임 메모리(131)에 저장된 이미지를 구성하는 화소들 중에서 선택된 일부 화소를 처리하여 이미지 상관 관계를 이용하여 오리지날 이미지를 복원할 수 있도록 함으로써 부가 정보가 이미지 내에 내장된다. 이것은 데이터 양을 증가시키지 않고도 화질의 저하를 억제하고 부가 정보가 이미지 내에 내장되는 것을 가능하게 한다.
즉, 내장 추가정보를 가진 화소는 이미지 상관 관계, 즉 내장 부가 정보가 없는 화소에 대한 상관 관계를 이용함으로써 어떠한 오버헤드 없이 오리지날 화소 및 부가 정보를 생성하도록 복호화될 수 있다 (복원될 수 있다). 따라서, 결과적인 복호화 이미지 (재생 이미지)에서 기본적으로 화질의 저하가 부가 정보의 내장으로 인해 생성하지 않는다.
이어서, 도 33은 이미지 상관 관계를 이용하여 내장 부호화부으로부터 출력된 부호화 데이터를 복호화함으로써 오리지날 이미지 및 부가 정보를 생성하는 내장 복호화부(106; 도 27)의 구조를 나타낸다.
부호화 데이터, 즉 내장 부가 정보를 가진 이미지 (이하, 내장 부호화 이미지라 함)이 프레임 메모리(141)에 공급된다. 프레임 메모리(141)는 공급된 내장 부호화 이미지를 예컨대 프레임 단위로 임시 저장한다. 프레임 메모리(141)는 구조면에서 도 30에 도시된 프레임 메모리(131)와 동일하다. 뱅크를 스위칭함으로써 프레임 메모리(141)는 내장 부호화 이미지가 동화상인 경우에도 실시간으로 내장 부호화 이미지를 처리할 수 있다.
출력 I/F(142)가 CPU(143)에 의해 행해진 내장 복호화 처리 (후술됨)의 결과로서 얻은 이미지 (재생 이미지)을 판독하여 출력할 수 있다. 즉, CPU(143)는 이미지 상관 관계를 이용하여 프레임 메모리(141)에 저장된 내장 부호화 이미지를 복호화함으로써 오리지날 이미지 및 부가 정보를 생성할 수 있다. 구체적으로, CPU(143)는 내장 부호화 이미지를 구성하는 화소 중 하나를 피처리 화소로서 선택하고, 도 34에 도시된 바와 같이, 도 30에 도시된 CPU(132)에 의해 행해진 처리와 반대로 피처리 화소를 처리함으로써 피처리 화소의 화소 레벨을 변경한다. 도 34를 참조하면, CPU(143)는 변경 전의 값인 피처리 화소와 주변 화소 (도 34에 도시된 예에서 좌우 인접 화소) 간의 상관값 R1 (제1 상관 관계), 및 화소 레벨이 변경된 피처리 화소와 그 주변 화소 간의 상관값 R2 (제2 상관 관계)를 계산하고, 이 상관값들(R1, R2)을 비교한다. 비교 결과에 기초하여, CPU(143)는 변경 전의 값인 피처리 화소 및 화소 레벨이 변경된 피처리 화소 중 하나를 복호화 결과로서 이용한다. 또한, CPU(143)는 피처리 화소에 내장된 부가 정보 (도 34에 도시된 예에서 1 비트 내의 값 "1"과 "0" 중 하나)를 복호화한다.
프로그램 메모리(143)는 도 30에 도시된 프로그램 메모리(133)와 구조가 동일하며, 내장 복호화 처리를 실시하도록 CPU(143)를 제어하는 컴퓨터 프로그램을 저장한다.
도 35에 도시된 플로우차트를 참조할 때, 내장 복호화부(106)에 의해 실행된 에러-검출 회로는 하기에 설명하기로 한다.
프레임 메모리(141)는 예를 들어, 프레임 단위로 공급된 이미지를 순서대로 저장한다.
단계 S111에서, CPU(143)는 하나의 프레임에 대한 내장 부호화된 이미지로부터, 복호화를 위해 처리될 화소를 선택한다.
여기서, 도 32에 도시된 바와 같이, 도 30에 도시된 CPU(132)와 마찬가지로, CPU(143)는 프레임 메모리(141)에 저장된 내장 부호화된 이미지로부터, 그리드의 형태에서 화소를 선택한다. 다시 말해서, 도 32에 도시된 바와 같이, 단계 S111이 행해질 때마다, CPU(143)는 처리되어질 화소로서, 라인 스캔 순서로 해칭되지 않는 화소를 선택한다.
그 후, CPU(143)는 단계 S112로 진행하고, CPU(132)에 의해 행해진 처리와는 반대로 처리될 화소를 처리한다. 구체적으로 말하자면, CPU(143)는 처리되어질 화소들의 화소 값 2에서, 소정의 상수인 (이미지를 구성하는 화소에 할당된 비트 갯수 - 1)의 제곱을 감한다.
따라서, 상술된 바와 같이 예를 들어, 이미지를 구성하는 화소의 화소 레벨로 8 비트가 할당되면, 단계 S112에서 처리되어질 각 화소의 화소 레벨로부터 27이 감해진다.
이 감산은 화소 레벨이 예를 들어, YUV로 표현될 때, 휘도 성분 Y와, 컬러 성분 U 및 V 중 어느 하나에 대하여 행해질 수 있다. 또한, 화소 레벨이 예를 들어, RGB로 표현될 때, R, G, 및 B 중 하나에 대하여 행해질 수 있다. 그러나, 단계 S112에서의 감산은, 도 31의 단계 S103의 가산에 의해 처리되어진 동일한 값으로 행해져야만 한다. 화소 레벨이 예를 들어, YUV로 표현되고, 도 31의 단계 S103에서의 가산이 YUV 사이의 Y 성분상에 대하여 행해지면, 단계 S112에서의 감산은 Y 성분에 대하여 행해진다.
처리되어질 각 화소의 화소 레벨로부터 27이 감산된 후, CPU(143)는 단계 S113으로 진행하고, 감산 결과가 언더플로우인지 여부를 판정한다. 단계 S113에서, CPU(143)가 감산 결과가 언더플로우가 아니라고 판정하였으면, CPU(143)는 단계 S114로 건너뛰어서, 단계 S115로 진행한다.
역으로, 단계 113에서, CPU(143)가 감산 결과가 언더플로우 즉, 감산 결과가 "0" 이하라고 판정하였으면, CPU(143)는 단계 S114로 진행하고, 감산 결과를 정정한다. 다시 말해, 단계 S114에서 CPU(143)는 감산시의 언더플로잉 결과를, 언더플로잉 결과에 2을 가산함으로써 얻어진 값으로 정정하고, 단계 S115로 진행한다.
단계 S115에서, 처리되어질 화소의 화소 레벨 P1(단계 S112에서 27이 감산되는 값) (이후로는 "제1 화소 레벨"이라 불림) 각각과, 화소 레벨 P1으로부터 27을 감산함으로써 얻어진 감산 값 P2를 고려할 때, 오른쪽 및 왼쪽의 인접 화소 (처리될 화소의 주변 화소)에 대한 상관값이 계산된다.
다시 말해, 단계 S115에서 처리되어질 화소의 제1 화소 레벨 P1에서 처리될 화소에 대한 오른쪽 및 왼쪽 화소의 화소 레벨까지의 차이의 절대값이 계산되고, 2개의 절대값의 합은 제1 화소 레벨 P1을 고려하여 상관값 R1으로서 발견된다. 또한, 단계 S115에서, 처리될 화소의 제1 화소 레벨 P2에서 처리될 화소에 대한 오른쪽 및 왼쪽 화소의 화소 레벨까지의 차이의 절대값이 계산되고, 2개의 절대값의 합은 제2 화소 레벨 P2를 고려하여 상관값 R2로서 발견된다.
단계 S115에서, 처리될 화소의 상관 관계를 위한 화소들은 처리될 화소의 우측 및 좌측의 인접 화소에 한하지 않고, 처리될 화소의 상부 및 하부에 인접한 화소나, 처리될 화소와 시간적으로 가까운 화소일 수 있다. 처리될 화소와의 상관성을 찾기 위해, 도 32에서 해칭된 화소들, 즉 어떠한 내장 부가 정보도 갖지 않는 화소들을 사용하는 것이 바람직하다. 이것은, 원 이미지와의 상관성은 처리될 화소와 내장된 부가 정보를 갖는 각 화소 간의 상관성에서 얻을 수 없어서, 이미지가 상관되는 것이 불가능하므로 내장된 부가 정보를 갖는 화소들로부터 원본 화소 레벨 및 부가 정보를 정확히 재저장하기 어렵게 되기 때문이다. 이미지 상관성은 처리될 화소를 복호화하는 데 사용되기 때문에, 처리될 화소에 대한 상관값을 발견하기 위한 화소들은, 처리될 화소와 공간적으로나 혹은 시간적으로 작은 차이를 갖는 것이 바람직하다.
제1 화소 레벨 P1에 연관된 상관값 R1및 제2 화소 레벨 P2에 연관된 상관값 R2를 계산 한 후, CPU(143)는 단계 S116으로 진행하고, 상관값 R1및 R2를 비교한다.
단계 S116에서, CPU(143)가 상관값 R1이 상관값 R2이상이라고 판정하였다면, CPU(143)는 단계 S117로 진행한다. 단계 S117에서, CPU(143)는 부가 정보를 복호화한 결과로서 "0"을 출력하고, 단계 S111로 회귀한다. 이 경우, 프레임 메모리(141)에 저장된 값은 재기입되지 않는다. 따라서, 처리될 화소의 화소 레벨을 복호화한 결과는 화소 레벨 P1으로 변하지 않은채 유지된다.
다시 말해서, 제1 화소 레벨 P1에 연관된 상관값 R1이 제2 화소 레벨 P2에 연관된 상관값 R2이상이라는 것으로 보아, 화소 레벨 P1은 화소 레벨 P2보다는 처리될 화소의 화소 레벨일 가능성이 높다. 따라서, 보다 가능성이 있는 화소 레벨 P2가 처리될 화소의 화소 레벨을 복호화한 결과로서 사용된다. 화소 레벨 P1이 단계 S112에서 27이 감산되지 않은 값이기 때문에, 단계 S103에서 27을 가산하지 않는 것이 가능하다. 도 31에 내장된 부호화 처리에서, 27은 부가 정보가 "0"이면 가산되지 않는다. 따라서, 제1 화소 레벨 P1에 연관된 상관값 R1이 커지기 때문에, 처리될 화소의 화소 레벨로서 화소 레벨 P1이 보다 더 가능성이 있을 때, 내장된 부가 정보는 "0"이라고 판정된다.
단계 S116에서, CPU(143)가 상관값 R2가 상관값 R1이상이라고 판정하였다면, CPU(143)는 단계 S118로 진행한다. 단계 S118에서, CPU(143)는 프레임 메모리(141)에 저장된 처리될 화소의 화소 레벨을, 저장된 화소 레벨, 즉 제2 화소 레벨 P2로부터 27을 감산함으로써 얻어진 값에 재기입한다. 따라서, 처리될 화소의 화소 레벨을 복호화한 결과로서, 보다 가능성있는 화소 레벨 P2가 이용된다. 또한, 화소 레벨 P2는, 화소 레벨 P1에서 감산된 값이기 때문에, 단계 S103에서, 원래의 화소 레벨에 27이 부가될 수 있다. 도 31에 도시된 내장 부호화 처리에서는, 부가 정보가 "1"인 경우, 27이 부가된다. 따라서, 화소 레벨 P2가 처리될 화소의 화소 레벨로서 가능성이 있는 경우, 제2 화소에 관한 상관 값 R2가 더 크기 때문에, 내장된 부가 정보가 "1"인 것으로 판정된다.
여기서, 상술한 바와 같이 얻어진 상관값 R1과 R2간의 차이가 작은 경우, 화소 레벨 P1또는 화소 레벨 P2가 처리될 화소의 화소 레벨로서의 가능성이 있는지의 여부를 간단하게 판정하는 것은 불가능하다. 이러한 경우, 처리될 화소에 인접한 우측과 좌측 화소 뿐만 아니라, 다른 화소들도 이용하여 화소 레벨 P1과 P2에 관한상관값을 찾고, 상관값을 비교하여, 화소 레벨 P1또는 화소 레벨 P2중 어느 화소 레벨이 처리될 화소의 화소 레벨로서 가능성이 있는지를 결정할 수 있다.
상술한 바와 같이, 내장된 부가 정보를 갖는 이미지에 대응하는 부호화 데이터를 복호화하여 원본 이미지 및 부가 정보를 재생함으로써, 부호화 데이터가 복호화되어, 복호화의 오버헤드없이 원본 이미지와 부가 정보를 재생할 수가 있다. 따라서, 복호화된 이미지(재생된 이미지)에서는, 기본적으로, 부가 정보로 인한 이미지 품질의 열화가 발생하지 않는다.
본 실시예에서는, 처리될 화소의 화소 레벨로부터 다른 화소 레벨까지의 차이의 절대값들이 처리될 화소에서 다른 화소까지의 상관값으로서 이용된다. 그러나, 상관값들이 이러한 절대값들에 제한되지는 않는다.
본 실시예에서는, 도 32에 도시된 바와 같이, 화소가 이미지로부터 격자 형태로 선택되고, 부가 정보가 선택된 화소에 내장된다. 그러나, 부가 정보를 내장하기 위한 선택 패턴은 격자 형태에 제한되지 않는다. 내장된 부가 정보를 갖는 화소를 복호화하기 위해, 내장된 부가 정보가 없는 화소를 이용하여 상관을 얻는 것이 바람직하다. 기본적으로, 화소들 간의 상관은 화소들 간의 공간적 또는 시간적 거리에 비례하여 감소한다. 따라서, 정확한 복호화를 행하기 위해서는, 부가 정보가 내장되어 있지 않은 화소를 선택하여 화소들 간의 공간적 또는 시간적 거리를 갖도록 하는 것이 바람직하다. 또한, 많은 부가 정보를 내장하기 위해, 즉, 압축 요소의 시점에서, 부가 정보가 내장된 화소의 수를 증가시킬 필요가 있다. 따라서, 부가 정보가 내장된 화소를 선택하여, 복호화의 정밀도 및 압축 성분의 균형을 맞출 수 있는 것이 바람직하다.
본 실시예에서는, 처리될 화소로서 선택된 하나의 화소 내에 1 비트의 부가 정보가 내장되어 있지만, 하나의 화소 내에 2개 이상의 비트를 갖는 부가 정보를 내장할 수 있다. 예를 들어, 2 비트의 부가 정보가 하나의 화소에 내장되는 경우, 예를 들어, 0, 26, 27, 26 + 27 중 하나가 2 비트 부가 정보에 따라 화소 레벨에 부가될 수 있다.
본 실시예에서는, 부가 정보가, 화소 레벨에 (27을 부가하지 않거나 부가하여) 0 또는 27중 하나를 부가함으로써 내장되었지만, 화소 레벨에 부가된 값은 27에 제한되지 않는다. 화소 레벨의 낮은 비트에만 영향을 주는 값을 부가하는 경우, 부가 결과와 원래 화소 레벨이 서로 그렇게 다르지는 않다. 따라서, 도 35의 단계 S115에서 발견된 상관값 R1및 R2는 서로 그렇게 다르지 않ㄴ다. 이는 화소 레벨 및 부가 정보를 복호화한 결과의 정확도를 악화시키기 때문에, 부가 정보에 따라 화소 레벨에 부가된 값은 원래의 화소 레벨의 상위 비트에 영향을 주는 값인 것이 바람직하다.
본 실시예에서는, 부가 정보의 내장을, 화소 레벨에 미리 정해진 값을 부가함으로써 행하지만, 부가 정보의 내장은 비트 반전 등의 화소 레벨에 대한 부가 이외의 처리를 행함으로써도 행해질 수 있다. 상술한 바와 같이, 화소 레벨 및 부가정보를 복호화한 결과의 정확도의 악화를 방지한다는 점에서 보았을 때, 화소 레벨에 대한 처리는 원래의 화소 레벨에 관한 상관값과 처리된 화소 레벨에 관한 상관값이 서로 다르지 않도록 하는 것이 바람직하다.
본 실시예에서는, 1 비트 부가 정보를 처리될 화소로서 선택된 하나의 화소에 내장한다. 그러나, 1 비트 부가 정보가 복수의 화소 내에 내장될 수 있다. 예를 들면, 도 36에 도시된 원으로 표시된 4개의 화소에서는, 1 비트 부가 정보가 내장될 수 있다.
구체적으로, 도 36에서는, 4개의 화소 p(1, 4), p(5, 4), p(1, 8), 및 p(5, 8)를 표기할 때, 부호화시에, 1 비트 부가 정보에 따라서 p(1, 4), p(5, 4), p(1, 8), 및 (5, 8)의 화소 레벨을 동일하게 처리함으로써, 부가 정보가 내장된다. 복호화시에, 4개의 화소 p(1, 4), p(5, 4), p(1, 8), 및 p(5, 8) 각각에 대하여, 상술한 바와 같은, 제1 및 제2 화소 레벨 P1및 P2의 상관값 R1및 R2가 산출되고, 상관값 R1및 R2의 크기가 비교된다. 다수의 비교 결과에 의한 판정을 행함으로써, 4개의 화소, p(1, 4), p(5, 4), p(1, 8), 및 p(5, 8)의 화소 레벨, 및 부가 정보의 복호화 결과가 결정될 수 있다. 또한, 제24개의 화소, p(1, 4), p(5, 4), p(1, 8) 및 p(5, 8)에 관한 제2 화소 레벨 P2의 상관값 R2와 제1 화소 레벨 P1의 상관값 R1과의 총 합을 계산함으로써, 각각의 4개의 화소 p(1, 4), p(5, 4), p(1, 8) 및 p(5, 8)의 화소 레벨 및 부가 정보를 복호화한 결과가 2개의 총 합들 간의 크기 관계에 기초하여 결정될 수 있다.
여기서, 도 32에 도시된 바와 같이, 화소가 이미지로부터 격자 형태로 처리될 화소로서 선택되고, 1 비트의 부가 정보가 각각의 선택된 화소에 내장되면, 이미지를 구성하는 화소수의 대략 절반인 비트수를 갖는 부가 정보가 내장될 수 있다. 상술한 바와 같이, 1비트의 부가 정보가 4개의 화소 내에 합입되면, 이미지에 내장될 수 있는 부가 정보는 이미지를 구성하는 화소수의 대략 절반의 1/4인 비트수를 갖는 이미지에 내장될 수 있다.
다음으로, 정보에 대해 계속해서 설명한다. 예를 들면, 이미지 라인을 표기할 때, 연속적인 화소 레벨 변화 패턴을 갖는 파형(1301)이, 도 37의 그래프(A)에 도시된 바와 같이 관측되면, 표기된 라인으로부터 어느 정도의 거리에 있는 다른 라인이 표기된 라인과는 다른 화소 레벨 변화 패턴을 갖는 다는 것이 관측된다. 따라서, 표기된 라인 및 그로부터 일정 거리 떨어져 있는 라인이 서로 다른 화소 레벨 변화 패턴을 갖기 때문에, 연속적인 분포가 있다. 환언하면, 이미지 부분의 화소 레벨 변화 패턴을 표기할 때, 그에 인접한 부분은 유사한 화소 레벨 변화 패턴을 갖고, 표기된 부분으로부터의 거리에 비례하여 더욱 다른 화소 레벨 변화 패턴이 존재한다는 점에서 연속적인 분포가 있다.
따라서, 도 37의 그래프 (A)에 나타난 표시된 라인의 일부는, 예를 들어 도 38의 그래프 (B)에 나타난 것과 같은 표시된 라인으로부터 이격된 라인의 파형(1302)으로 스와핑된다.
이 경우, 이미지 연속성의 분포는 상실된다. 그러나, 인접 부분이 연속 화소 레벨 변화 패턴을 갖기 때문에, 표시된 라인으로부터 이격된 거리에 비례하여더 많은 화소 레벨 변화 패턴이 존재하는 연속성의 분포를 이용하여, 상실된 연속성의 분포가 복원될 수 있다. 즉, 파형의 본래의 연속성의 분포에 따르면, 파형 부분(1302)의 화소 레벨의 변화 패턴이 다른 파형 부분의 화소 레벨의 변화 패턴과 크게 다르지 않다. 상이한 화소 레벨 변화 패턴을 갖는 파형 부분(1302)은 다른 파형 부분의 화소 레벨 변화 패턴과 유사한 화소 레벨 변화 패턴을 갖는 파형으로 스와핑되어야만 한다. 이러한 스와핑을 수행함으로써, 연속성의 분포가 복원되며, 이에 따라 도 37의 그래프 (B)에 나타난 파형으로부터 도 37의 그래프 (A)에 나타난 본래 파형을 복원할 수 있게 된다.
도 37을 이용하여 설명한 경우에서, 임의의 파형 부분을 주변 화소 레벨의 화소 레벨 변화 패턴과 크게 다른 화소 레벨 변화 패턴을 갖는 파형으로 스와핑하는 것이 이미지의 부호화된다. 이러한 부호화에서, 내장 부호화부(103)는, 부가 정보에 따라, 예를 들어 파형의 어떤 부분에서 화소 레벨 변화 패턴이 변화하는지, 화소 레벨 변화 패턴이 얼마나 많이 변화하는지 등을 결정한다. 주변 화소가 연속 화소 레벨 변화 패턴을 갖고, 화소 레벨 변화 패턴이 표시된 화소로부터의 거리에 비례하여 달라지는 연속성의 분포를 이용하여, 내장 복호화부(106)는 부호화 후에 얻어진 신호, 즉 본래의 파형과 부분적으로 크게 다른 파형을 복원함으로써, 본래의 파형을 생성하기 위한 복호화가 수행된다. 또한, 복호화에서, 내장 복호화부(106)는, 예를 들어 파형의 어떤 부분에서 화소 레벨 변화 패턴이 크게 변화하였는지, 화소 레벨 변화 패턴이 얼마나 많이 변화하였는지 등을 검출함으로써, 내장된 부가 정보를 생성하기 위한 복호화가 수행된다.
다음으로, 이미지 연속성을 이용하여 이미지 내에 부가 정보를 내장함으로써 내장된 부가 정보가 복호화에 의해 생성될 수 있게 하는 내장 부호화 처리가 이하에 설명될 것이다. 내장 부호화부(103)의 구성은 도 30에 도시된 것과 동일하며, 그 설명은 생략된다.
도 38은 이미지 연속성을 이용하는 내장 부호화 처리를 나타내는 플로우차트이다.
우선, 단계 S121에서, CPU(132)는 내장 부호화부(103)를 제어하여, 하나의 프레임에 대한 이미지 데이터가 이미지 데이터베이스(101)로부터 프레임 메모리(131)로 전송되게 한다. CPU(132)는 이미지 데이터의 연속 영역을 검출하고, 연속 영역의 위치를 나타내는 연속 영역 데이터를 작업 메모리(도시되지 않음)에 저장한다.
CPU(132)가 224(7×32)×1600 화소로 이루어진 이미지 데이터의 연속 영역을 검출하면, CPU(132)는 이미지 데이터를 32×1 화소를 갖는 이미지 블럭으로 분할하고, 각 이미지 블럭에 이산 코사인 변환(DCT) 처리를 행함으로써, 각 이미지 블럭에 대한 DCT 계수를 구한다.
CPU(132)는 래스터 스캐닝의 순서로 이미지 블럭을 스캐닝하고, 스캐닝된 이미지 블럭을 참조 이미지 블럭으로서 순차적으로 이용한다. CPU(132)는 하나의 기준 이미지 블럭에 대응하는 DCT 계수와 기준 이미지 블럭에 인접한 좌측 이미지 블럭에 대응하는 DCT 계수 간의 차분을 계산한다. 계산된 차분은 기준 이미지 블럭 연속성의 값으로서 저장된다. 기준 이미지 블럭의 연속성 추정에서 계산된 값이미리 정해진 임계값 이하인 이미지 블럭은 CPU(132)에 의해 연속 영역으로서 인식되고, 이미지 블럭의 위치는 작업 메모리 내에 저장된다. 이 때, 노이즈 등의 영향으로 인해, CPU(132)가 계산된 연속 영역 내의 일부 이미지 블럭이 연속 영역이 아닌 것으로 판정할 수 있다. 따라서, 연속 영역을 검출한 후, CPU(132)는 연속 영역 확대 및 축소를 위한 처리를 수행함으로써, 연속 영역의 일부인 비연속 이미지 블럭을 연속 영역 내의 이미지 블럭으로 변환하기 위한 정정 처리를 행할 수 있다.
그 다음, 단계 S122에서, CPU(132)는 부가 정보 데이터베이스(102)로부터 예를 들어 6비트 (3비트+3비트)마다 부가 정보를 수신하고, 단계 S123으로 진행한다.
단계 S123에서, CPU(132)는 예를 들어 도 39의 (A)에 나타난 이미지의 제1 라인과 제801 라인을 선택적으로 추출하며, 이 라인들은 처리될 이미지 부분으로서 이용된다. 이 때, 작업 메모리 내에 저장된 연속 영역 데이터를 참조하여, CPU(132)는 제1 라인과 제801 라인의 연속 영역만을 선택적으로 추출한다. 도 39의 (A)에 도시된 예에서, 제1 라인과 제801 라인의 전체 영역이 선택적으로 추출된다.
CPU(132)는 단계 S124로 진행하고, 제1 라인의 이미지 부분과 제801 라인의 이미지 부분을 스와핑함으로써 부가 정보를 내장한다.
도 39의 (B)는 부가 정보가 내장되기 전의 제1 라인 내의 이미지 데이터의 화소 레벨을 나타내고 있다. 도 39의 (C)는 부가 정보가 내장되기 전의 제801 라인 내의 이미지 데이터의 화소 레벨을 나타내고 있다. 도 39의 (B) 및 (C)에 나타나 있는 바와 같이, 제1 라인 영역과 제801 라인 영역은 상이한 화소 레벨 변화 패턴을 갖는다(주파수 특성).
예를 들어, "2"를 나타내는 상위 3 비트와 "6"을 나타내는 하위 3 비트를 갖는 부가 정보가 이미지 데이터 내에 내장된 것으로 가정하면, CPU(132)는 상위 3 비트에 의해 표현되는 "2"를 내장하기 위해 도 39의 (B)의 좌측으로부터 2번째 블럭을 선택하고, 하위 3 비트에 의해 표현되는 "3"을 내장하기 위해 도 39의 (C)의 좌측으로부터 6번째 블럭을 선택한다. 선택된 2번째 블럭 내의 이미지 데이터와 6번째 블럭 내의 이미지 데이터를 스와핑함으로써, CPU(132)는 도 39의 (D)에 나타난 이미지 데이터를 나타난 이미지 데이터를 생성하기 위해 부호화를 수행한다.
그 다음, 단계 S125에서, CPU(132)는 프레임 메모리(131) 내에 제1 라인과 제801 라인에 대응하는 부호화된 이미지 데이터를 기입하고, 단계 S126으로 진행한다.
단계 S126에서, CPU(132)는 한 프레임에 대한 이미지 데이터의 부호화가 완료되었는지의 여부를 결정한다. CPU(132)는, 부호화가 완료되지 않은 것으로 판정하면, 단계 S122로 되돌아가서 부가 정보를 다시 수신한다. 단계 S123에서, CPU(132)는 다음 라인, 즉 제2 라인과 제802 라인을 선택하고, 동일한 단계들을 반복한다.
단계 S126에서, CPU(132)가 부호화가 완료된 것으로 결정하면, 프레임 메모리(131) 내에 저장되어 있는 부호화 데이터는 출력 I/F(134)를 통해 출력되고, 처리는 종료된다.
다음으로, 이미지 연속성을 이용하여 부가 정보가 내장되어 있는 부호화 데이터를 복호화하는 내장 복호화 처리가 설명될 것이다. 내장 복호화부(106)는 도 33에 도시된 것과 동일하며, 그에 대한 설명은 생략한다.
도 40은 도 38에 도시된 내장된 부호화 처리에 의해 얻어진 부호화 데이터를 복호화하기 위해 이미지 연속성을 사용하는 내장된 복호화 처리를 도시하는 흐름도이다.
단계 S131에서, CPU(41)는 프레임 메모리(141)에서 프레임 단위로 부호화 데이터를 차례대로 저장한다. CPU(143)는 부호화 데이터로부터 저장 이미지 블럭으로서 연속 영역을 추출하기 위해서, 도 38을 사용하여 설명된 것과 동일한 기술을 사용하고, 작업 메모리(도시되지 않음)에 이미지 블럭의 위치를 저장한다. 본 명세서에서, 도 39를 사용하여 설명된 바와 같이, 3 비트 부가 정보가 하나의 라인에 내장된다. 따라서, 하나의 라인에서 하나의 이미지 블럭을 스와핑하여, 이미지 데이터가 부호화된다. 그러므로, 연속 영역에서, 한 이미지 블럭에 해당하는 비연속 부분은 연속 영역이 추출될 때 확대 및 축소 처리에 의해 연속 영역 부분으로 변환된다.
단계 S132에서, CPU(143)는 한 이미지 블럭 [예를 들면, 도 39의 (A)에 도시된 최상 왼쪽 이미지 블럭]을 6 비트 부가 정보를 복호화하기 위해 처리될 이미지로서 선택적으로 추출한다. 이 때, 단계 S131에서, 작업 메모리에 저장된 연속 영역 데이터를 참조하여, CPU(143)는 연속 영역에서의 이미지 블럭만을 선택적으로 추출한다. 상기에 설명한 바와 같이, 제1 라인 내지 제80 라인의 전체 영역은 연속 영역으로서 선택적으로 추출된다.
단계 S133에서, CPU(143)는 단계 S132에서 추출된 이미지 블럭에 DCT 처리를 수행하기 위한 DCT 계수를 생성한다.
단계 S134에서, CPU(143)는 기준의 이전 이미지 블럭의 DCT 계수와 기준의 현재 이미지 블럭의 DCT 계수간의 차이값을 계산하고, 이 차이값과 기준의 이전 이미지 블럭의 DCT 계수를 작업 메모리에 저장한다. 기준의 이전 이미지 블럭의 DCT 계수가 작업 메모리에 저장되지 않을 때, 차이값은 영이다.
단계 S135에서, CPU(143)는 한 라인에 대한 처리가 완료되었는지를 판정한다. 처리가 아직 완료되지 않았으면, CPU(143)는 단계 S132로 되돌아간다. CPU(143)가 단계 S135에서 처리가 완료된 것으로 판정하면, CPU(143)는 단계 S136로 진행한다.
단계 S136에서, 작업 메모리에 저장된 한 라인에 해당하는 이미지 블럭 중에서, 상기한 바와 같이 큰 차이값을 갖는 두 이미지 블럭이 CPU(143)에 의해 검출된다. CPU(143)는 작업 메모리에 검출된 이미지 블럭의 위치를 저장한다.
단계 S137에서, 작업 메모리에 저장된 한 라인에 해당하는 이미지 블럭 중에서, 미리 정해진 값 이상의 차이값을 갖는 두 이미지 블럭이 CPU(143)에 의해 부가 정보를 출력하기 위해 사용된다. 두 이미지 블럭이 서로 인접할 때, 왼쪽 이미지 블럭의 위치가 작업 메모리에 저장되고 CPU(143)에 의해 부가 정보로서 출력된다. 예를 들면, 도 39에 도시된 (D)에 도시된 경우에, 왼쪽으로부터 제2 및 제3 이미지 블럭이 큰 차이값을 갖고, 두번째 이미지 블럭은 왼쪽 이미지 블럭에 해당한다.그러므로, "2"는 부가 정보로서 사용된다.
본 명세서에서, 부가 정보가 왼쪽으로부터 제0 이미지 블럭 또는 제7 이미지 블럭에 실시될 때, 미리 결정된 값 이상의 차이값을 갖는 이미지 블럭의 수가 하나일 가능성이 높다. 따라서, 제1 이미지 블럭만이 큰 차이값을 가지면, "0"이 부가 정보로서 사용되고, 제7 이미지 블럭만이 큰 차이값을 가지면, "7"이 부가 정보로서 사용되어, 이미지 데이터간의 경계에 대해 특수 처리가 수행된다.
단계 S138에서, CPU(143)는 이미지의 제1 라인 내지 제800 라인의 상위 영역 [도 39에 (A)] 또는 이미지의 제801 라인 내지 제1600 라인의 하위 영역 [도 39에 (A)]이 현재 처리되어야 하는지를 판정한다. CPU(143)이 상위 이미지 부분이 현재 처리되어야 한다고 판정하면, CPU(143)는 단계 S139로 진행하고 상위 영역에서 하위 영역으로 이미지 처리 영역을 전환한다. 구체적으로, 현재 처리되는 라인이, 예를 들면 제1 라인이면, "800"이 라인 번호에 추가되고, 얻어진 제801 라인이 처리될 것이다. 상위 영역에서 하위 영역으로 전환한 후에, CPU(143)는 단계 S132로 되돌아간다.
단계 S138에서, CPU(132)가 하위 영역이 현재 처리되어야 한다고 판정하면, CPU(143)는 단계 S140으로 진행한다. 단계 S140에서, CPU(143)는 단계 S137에서 최종으로 저장된 두 이미지 블럭의 위치를 전환하고 프레임 메모리(141)에 전환된 위치를 저장한다.
단계 S141에서, CPU(143)는 한 프레임에 대한 이미지 데이터 복호화가 완료되었는지를 판정한다. CPU(143)는 이미지 데이터 복호화가 아직 완료되지 않았다고 판정하면, CPU(143)는 단계 S139로 진행한다. 단계 S139에서, 이미지 처리 영역이 하위 영역에서 상위 영역으로 전환되고, 동일한 단계들이 수행된다. CPU(143)는 이미지 데이터 복호화가 완료되었다고 판정하면, 처리가 종료된다.
원본 이미지를 재생하기 위해 복호화된 프레임 메모리(141)에 저장된 이미지 데이터는 출력 I/F(142)를 통해 제1 라인 및 제80 라인과 같은 매 두 라인마다 차례대로 출력될 수 있고, 모든 라인에 대한 복호화가 완료된 후에 출력 I/F(142)로부터 출력될 수 있다.
다음으로, 이미지의 유사성에 대해 살펴보면, 예를 들면 한 장면을 촬영한 이미지의 부분을 이미지의 분할성(fractality)[자기유사성(selfsimilarity)]을 사용하여 생성하는 것이 공지되어 있다. 예를 들면, 바다(1401) 및 나무(1402)가 도41a에 도시된 바와 같이 촬영된 이미지에서, 바다(1401)의 전체의 화소 레벨 변화 패턴과 바다(1401)의 부분의 화소 레벨 변화 패턴이 높은 유사성을 갖고, 이 화소 레벨 변화 패턴과 바다(1401)와 떨어진 나무(1402)의 화소 레벨의 화소 레벨 변화 패턴은 낮은 유사성을 갖는다. 본 명세서에서, 이미지의 유사성은 상기한 바와 같이 화소 레벨 변화 패턴을 비교하지 않고 경계 형태를 비교하여 판단될 수 있다.
따라서, 도 41a에서, 바다(1401)의 일부(1403)와 나무(1402)의 일부(1404)가 스와핑된다.
이 경우, 이미지의 유사성 분포가 상실되어 도 41b에 도시된 바와 같은 이미지가 얻어진다. 그러나, 인접 부분의 화소 레벨 변화 패턴이 높은 유사성을 갖고 서로 멀리 떨어진 부분들이 화소 레벨 변화 패턴에서 낮은 유사성을 갖는 유사성분포를 사용하여, 손실된 유사성 분포는 재취득될 수 있다. 이미지의 원 분포에 따라, 도 41b에서 바다(1401)의 일부가 바다(1401)와 낮은 유사성을 가진 나무(1402)의 일부(1404)인 것이 확실하게 부자연스럽고, 나무(1402)의 일부가 나무(1402)와 낮은 유사성을 갖는 바다(1401)의 일부(1403)인 것이 확실하게 부자연스럽다. 구체적으로, 도 41b에서, 나무(1402)의 이미지의 일부(1404)에 대한 바다(1401)의 이미지의 유사성은 바다(1401)의 다른 부분들에 대한 유사성보다 극히 낮고, 바다(1401)의 이미지의 일부(1403)에 대한 나무(1402)의 이미지의 유사성은 나무(1402)의 다른 부분들에 대한 유사성보다 극히 낮다.
그러므로, 이미지에서 유사성의 원 분포에 따라, 바다(1401)의 이미지에 포함된 나무(1402)의 이미지의 일부(1404) 및 나무(1402)의 이미지에 포함된 바다(1401)의 이미지의 일부(1403)는 스와핑되어야 한다. 스와핑을 수행하여, 이미지의 유사성의 분포가 재취득될 수 있다. 이로써 도 41a에 도시된 원본 이미지를 도 41b에 도시된 이미지로부터 재취득할 수 있다.
도 41a 및 도 41b를 이용하여 설명한 경우에서, 바다(1401)의 이미지의 부분(1403)과 나무(1402)의 이미지의 부분(1404)의 스와핑이 이미지의 부호화이다. 이 부호화에서, 내장 부호화부(103)는 부가 정보에 기초하여 바다(1401)의 이미지의 어떤 부분과 나무(1402)의 이미지의 어떤 부분이 스와핑되어야하는지를 결정한다. 내장 복호화부(106)는, 인접 부분들의 이미지 레벨 변화 패턴이 유사성을 갖고 멀리 이격된 부분일수록 이미지 레벨 변화 패턴이 더 낮아지는 유사성의 분포를 이용하여, 부호화된 신호를 복호화, 즉 바다(1401)의 일부가 나무(1402)의부분(1404)이고 나무(1402) 부분이 바다(1401)의 부분(1403)인 이미지로부터 원본 이미지를 복원함으로써, 원본 이미지가 재생된다. 또한, 복호화에 있어서, 내장 복호화부(106)가 바다(1401)의 이미지의 어느 부분과 나무(1402)의 이미지의 어느 부분이 스와핑되는지를 결정하는 것이 내장된 부가 정보의 복호화이다.
이하에서는, 도 42a 및 42b를 참조하여, 유사성이 설명될 것이다.
예를 들어, 도 42a에 도시된 프랙탈 이미지가 부호화되고, 내장 부호화부(103)가 부가 정보에 응답하여 프랙탈 이미지의 한 부분을 프랙탈 이미지와 유사하지 않은 부분으로 스와핑함으로써, 프랙탈 이미지를 부호화한다. 특히, 내장 부호화부(103)는, 나뭇잎 형상을 갖는 프랙탈 이미지의 부분을 예를 들어 도 42b에 도시된 삼각형으로 스와핑한다. 도 42b에서, D1 및 D2로 표시된 부분이 삼각형이다. 부가 정보에 따라, 내장 부호화부(103)는 삼각형 등으로 스와핑되는 각 프랙탈 이미지의 위치, 프랙탈 이미지가 스와핑되는 각 삼각형의 크기, 스와핑할 삼각형의 개수 등을 결정한다.
이 경우, 내장 복호화부(106)는 다음과 같은 방법으로 프랙탈 이미지 및 부가 정보를 복호화한다. 예를 들어, 도 42b에서, 점선의 사각형으로 둘러싸인 부분을 삼각형으로 스와핑하지 않고, 내장 복호화부(106)는 점선 사각형 부분을 트레이닝 이미지로 취급하여, 상기 트레이닝 이미지와 유사하지 않은 각 부분 (이 경우에서는 삼각형)을 검색한다. 또한, 내장 복호화부(106)는, 트레이닝 이미지와 유사하지 않은 부분인 삼각형을 트레이닝 이미지에 포함되어 있는 프랙탈 이미지에 대한 기준 도면으로부터 생성된 이미지로 스와핑함으로써, 원본 프랙탈 이미지를 재생한다 (도 42a). 내장 복호화부(106)는, 각 삼각형에 대해 검색된 위치 및 크기와 삼각형의 개수 등에 기초하여, 내장 부가 정보를 복호화한다.
상술한 경우에서, 내장 복호화부(106)는 트레이닝 이미지 내에 포함되어 있는 프랙탈 이미지에 대한 기준 도면을 검출한다. 이 검출은 예를 들어 다음과 같은 방식으로 수행된다. 트레이닝 이미지와 도 42b에 도시된 이미지 내의 다른 부분들 간의 유사성, 및 트레이닝 이미지의 자기 유사성에 기초하여, 프랙탈 이미지에 대한 기준 도면이 도 42b에 도시된 이미지로부터 검색되고, 트레이닝 이미지 이외의 부분을 가장 효율적으로 지시하는 도면이 기준 도면으로서 검출된다.
내장 복호화부(106)는 원본 프랙탈 이미지를 생성하기 위한 규칙을 인식한다. 생성 규칙에 기초하여, 내장 복호화부(106)는 기준 도면을 이용하여 삼각형이 스와핑될 이미지를 생성한다. 즉, 내장 복호화부(106)는 생성 규칙에 기초하여, 삼각형이 스와핑될 이미지를 생성하기 위한 기준 도면의 크기, 위치 및 회전을 지정하고, 기준 도면에 대해 지정된 크기, 위치 및 회전에 따라 기준 도면을 조절함으로써 삼각형이 스와핑될 이미지를 생성한다.
다음으로, 이미지 유사성을 이용하여 이미지 내에 부가 정보를 내장되어, 내장된 부가 정보가 복원될 수 있게 하는 내장 부호화 처리가 설명될 것이다. 또한, 이 경우에서, 내장 부호화부(103)의 구조는 도 30에 도시된 것과 동일하며, 그 설명을 생략한다.
도 43은 유사성을 이용하는 내장 부호화 처리를 나타내는 플로우차트이다.
단계 S151에서, CPU(132)의 제어하에, 1 프레임에 대한 이미지 데이터가 이미지 데이터베이스(101)로부터 프레임 메모리(131)로 전송되고, 이미지 데이터의 유사 영역이 검출되며, 유사 영역을 나타내는 유사 영역 데이터가 작업 메모리 내에 저장된다.
상세하게 설명하면, CPU(132)는, 이미지 데이터로부터 56 ×1600 화소로 구성된 이미지 데이터의 유사 영역을 검출한 때에, 이미지 데이터를 8 ×8 화소를 각각 갖는 이미지 블럭으로 분할하고, 기준 이미지 블럭과 주변 이미지 블럭 간의 유사성을 검출한다.
즉, CPU(132)는 래스터 스캐닝의 수순으로 기준 이미지 블럭을 스캐닝하고, 우측의 주변 이미지 블럭으로부터 좌측의 주변 이미지 블럭순으로 각 기준 이미지 블럭의 유사성을 계산한다. 상세하게 설명하면, CPU(132)는 우측의 주변 이미지 블럭으로부터 좌측의 주변 이미지 블럭순으로의 매칭을 행하여, 기준 이미지 블럭의 크기, 위치 및 회전 각각을 미리 정해진 양만큼 변경하고, 매칭의 정도를 정규화한다. CPU(132)는 정규화된 매칭의 정도를 평균을 구하고, 평균화된 정도를 기준 이미지 블럭의 주변에 대한 유사성 평가값으로서 작업 메모리 내에 저장한다. 여기에서, 최우측 이미지 블럭과 최좌측 이미지 블럭이 기준 이미지 블럭으로서 이용될 때, 한 이미지 블럭에 대한 매칭의 정도는 변경되지 않으며, 다른 이미지 블럭에 대한 매칭의 정도로서 이용된다. CPU(132)는 유사한 영역으로써, 미리 정해진 임계값 미만의 계산된 유사성 평가값 (매칭의 정도)을 갖는 각 이미지 블럭을 인식하고, 유사 영역의 위치를 작업 메모리에 저장한다. 이 때에, 인식된 유사 영역에 있는 몇개의 이미지 블럭이 비유사 영역으로 간주될 가능성이 있다. 따라서,유사 영역을 검출한 후에, CPU(132)는 유사 영역 확대 및 축소에 대한 처리를 수행함으로써, 유사 영역에 있는 비유사 영역을 유사 영역으로서의 이미지 블럭으로 변환하기 위한 정정 처리를 수행한다.
단계 S152에서, CPU(132)는 부가 정보 데이터베이스(102)로부터 예를 들어 6 비트(3비트 + 3비트)의 단위로 부가 정보를 수취한다.
단계 S153에서, CPU(132)는 예를 들어 도 44의 도면 (A)에 도시된 제1 라인과 제101 라인을 선택적으로 추출하며, 이 라인들은 상기 6-비트의 부가 정보가 내장되어 있는 이미지 블럭들이다. 이 때에, 단계 S151에서 작업 메모리에 저장된 유사 영역 데이터를 참조함으로써, CPU(132)는 제1 라인과 제101 라인의 유사 영역만을 선택적으로 추출한다. 도 44의 도면 (A)에 도시된 예시에 있어서, 제1 라인과 제101 라인의 모든 영역들은 유사 영역으로서 선택적으로 추출된다.
단계 S154에서, CPU(132)는 부가 정보를 제1 라인에 있는 이미지 블럭과 제101 라인에 있는 이미지 블럭을 스위칭함으로써 이미지 데이터에 내장한다.
즉, 도 44의 도면 (A)는 부가 정보가 내장되기 전의 제1 라인과 제101 라인의 이미지 데이터의 화소 레벨을 도시한다. 도 44의 도면 (A)에 도시된 바와 같이, 제1 라인과 제101 라인의 영역들은 상이한 화소 레벨 변화 패턴, 즉 이미지 블럭에서 상이한 타입의 형태 유사성을 갖는다.
예시를 위하여, 6-비트 부가 정보에서 상위 3 비트는 "2"를 나타내고 하위 3비트는 "6"을 나타낸다고 가정하면, CPU(132)는 상위 3 비트의 "2"를 내장하기 위하여 도 44의 도면 (A)에 있는 제1 라인의 2번째 블럭을 선택하고, 하위 3 비트에의해 나타내어진 "6"을 내장하기 위하여 제101 라인의 6번째 블럭을 선택한다. 또한, 선택된 2번째 블럭에 있는 이미지 데이터와 선택된 6번째 블럭에 있는 이미지 데이터를 스위칭함으로써, CPU(132)는 부호화를 수행하여 도 44의 도면 (B)에 도시된 이미지 데이터를 생성한다.
단계 S155에서, CPU(132)는 제1 및 제101 라인들의 부호화 데이터를 프레임 메모리(131)에 기록(과기록)하고, 단계 S156으로 진행한다.
단계 S156에서, CPU(132)는 하나의 프레임에 대한 이미지 데이터를 부호화하는 것이 완료되었는지를 판정한다. CPU(132)가 부호화가 아직 완료되지 않았음을 판정하면, CPU(132)는 단계 S152로 되돌아가서, 부가 정보를 다시 수취한다. 단계 S157에서, CPU(132)는 제2 라인과 제102 라인에 있는 다음 이미지 부분을 순차적으로 선택한다.
단계 S156에서, CPU(132)가 부호화가 완료되었음을 판정하면, 프레임 메모리(131)에 저장된 부호화 데이터는 출력 I/F(134)를 통하여 출력되고, 종료로 진행한다.
다음에, 이미지 유사성을 이용하여 내장된 부가 정보를 갖는 부호화 데이터를 복호화하는 내장 복호화 처리가 아래에 설명된다. 또한 이 경우에 있어서, 내장 복호화부(106)의 구성은 도 33에 도시된 것과 동일하며, 그 설명은 생략된다.
도 45는 이미지 유사성을 이용하는 내장 복호화 처리를 나타내는 흐름도이다.
단계 S161에서, CPU(143)는 프레임 메모리(141)에 부호화 데이터를 프레임의단위로 순차적으로 저장한다. CPU(143)는 부호화 데이터로부터 유사 영역으로서의 이미지 블럭을 추출하기 위하여 도 43에서 설명된 것과 동일한 기술을 사용하여, 유사 영역 데이터로서의 이미지 블럭의 위치를 작업 메모리에 저장한다. 이 실시예에 있어서, 상술한 바와 같이 3-비트 데이터는 8 화소에 대응하는 한(1) 라인에 내장된다. 그러므로, 이미지 데이터는 8 화소에 대응하는 한 라인에서 하나의 이미지 블럭이 변경되도록 부호화된다. 따라서, 유사 영역에 있는 하나의 비유사 이미지 블럭은 유사 영역 추출을 위한 확대 및 축소 처리를 수행함으로써 유사 영역으로 변환된다.
단계 S162에서, CPU(143)는 6-비트의 부가 정보, 예를 들어 도 44의 도면 (A)의 하나의 이미지 블럭 (예를 들어, 상부 좌측단 이미지 블럭)을 복호화하는데 이용되는, 처리될 이미지 블럭을 선택적으로 추출한다. 이 때에, 단계 S161에서, 작업 메모리에 저장된 유사 영역 데이터를 참조하는 것에 의해, CPU(143)는 유사 영역에 있는 이미지 블럭만을 선택적으로 추출한다. 이 점에 있어서, 예를 들어 제1 라인과 제101 라인의 전체 영역들은 유사 영역으로써 간주되어, 선택적으로 추출된다.
단계 S163에서, CPU(143)는 단계 S162에서 추출된 이미지 블럭을 기준의 이미지 블럭으로써 취급하여, 우측 및 좌측 주변 이미지 블럭에 대한 기준의 이미지 블럭의 유사성을 계산한다. 즉, CPU(143)는 우측 및 좌측 주변 이미지 블럭과의 매칭을 수행하는 한편, 기준의 이미지 블럭의 크기, 위치, 및 회전 각각을 소정 양씩 변경시키고, 매칭의 정도를 표준화하고 평균을 낸다. 단계 S164에서, 작업 메모리는 주변에 대한 기준의 이미지 블럭의 유사성을 평가한 값으로써 저장된 평균값을 저장한다. 이점에 있어서, 우측단 및 좌측단 이미지 블럭들이 기준의 이미지 블럭으로서 이용되는 경우, 하나의 이미지 블럭의 매칭의 정도는 변경되지 않고, 기준의 이미지 블럭의 매칭의 정도로써 이용된다.
비록 우측 및 좌측 이미지 블럭에 대한 기준의 이미지 블럭의 매칭의 정도의 평균값이 저장된다고 하더라도, 작은 정도가 저장될 수 있다.
단계 S165에서, CPU(143)는 제1 라인에 대한 처리가 완료되었는지의 여부를 판정한다. 처리가 아직 완료되지 않았다면, CPU(143)는 단계 S162로 되돌아가서, 처리를 반복한다. 단계 S165에서, CPU(143)가 처리가 완료되었음을 판정하면, CPU(143)는 단계 S166으로 진행한다.
단계 S166에서, CPU(143)는 작업 메모리에 저장된 제1 라인에 있는 이미지 블럭의 매칭의 정도 중에서 최소 매칭 정도를 갖는 이미지 블럭의 위치를, 작업 메모리에 저장한다.
단계 S167에서, CPU(143)는 단계 S166에서 저장된 이미지 블럭의 위치에 기초하여 부가 정보를 출력한다. 예를 들어, 도 44의 도면 (B)에서, 최소 매칭의 정도를 갖는 이미지 블럭은 제2 이미지 블럭이다. 그 결과, "2"는 부가 정보로써 이용된다.
단계 S168에서, CPU(143)는 제1 부터 제100 라인까지의 상부 이미지 영역과 제101 부터 제200 라인까지의 하부 이미지 영역 중의 어느 것이 처리되고 있는지를 판정한다. CPU(143)가 상부 이미지 영역이 처리되고 있음을 판정하면, CPU(143)는단계 S169로 진행하여, 이미지 처리 영역을 상부 영역으로부터 하부 영역으로 변경시킨다. 특히, 예를 들어 제1 라인이 처리되고 있는 경우, CPU(143)는 라인 번호에 100을 부가하여, 처리를 위해 제101 라인을 이용한다. 상부 영역이 하부 영역으로 스와핑된 후에, CPU(143)는 단계 S162로 되돌아가고, 동일한 단계가 반복적으로 수행된다.
단계 S168에서, CPU(143)가 하위 이미지 영역이 처리 중인 것으로 판단하면, CPU(143)는 단계 S170으로 진행한다. 단계 S170에서, 두 위치에 대응하며 단계 S167에 최종적으로 저장된 두 이미지 블럭이 스와핑되고, 스와핑된 이미지 블럭은 프레임 메모리(141)에 저장된다.
단계 S170에서, CPU(143)는 1 프레임마다의 이미지 데이터의 복호화가 완료되었는가를 판단한다. CPU(143)가 복호화가 아직 완료되지 않은 것으로 판단하면, CPU(143)는 단계 S169로 진행하여 동일한 처리를 반복한다. 단계 S171에서, CPU(143)가 복호화가 완료된 것으로 판단하면, 복호화 처리는 종료된다.
원본 이미지를 재생하도록 복호화되고 프레임 메모리(141)에 저장된 이미지 데이터는 제1 라인과 제10 라인 등의 두 라인의 각 셋트마다 출력 I/F(142)를 통해 출력될 수 있거나, 또는 모든 복호화 처리가 완료된 후에 출력 I/F(142)로부터 출력될 수 있다.
내장 부호화부(103)가 부호화되어질 이미지의 에너지 분포를 이용하여 복호화를 행할 수 있도록 부가 정보에 따라 이미지가 부호화되어 부호화 데이터가 출력되는 상기 경우에, 내장 복호화부(106)는 이미지 분포를 이용하여 어떠한 복호화오버헤드도 없이 부호화 데이터를 원본 이미지 및 부가 정보로 복호화한다.
또한, 부호화될 이미지에 부가 정보를 내장함으로써, 내장을 행하여 얻어진 이미지는 원본 이미지와는 다른 이미지로서 사람이 가치있는 정보로서 인식할 수 없는 이미지이다. 따라서, 부호화될 이미지의 암호화를 어떠한 오버헤드도 없이 실현할 수 있다.
더욱이, 완전히 복원 가능한 전자 워터마킹을 실현할 수 있다. 종래 전자 워터마킹에서는, 화질에 많은 영향을 주지 않는 화소 레벨의 하위 비트를 간단히 변경시킨 후 그 하위 비트가 전자 워터마킹에 대응하도록 한 것이다. 이 경우, 하위 비트를 원시값으로 복원시키는 것은 불가능하다. 따라서, 복호화된 이미지의 화질은 하위 비트가 전자 워터마킹으로 변경됨으로 인해 적지 않게 저하된다. 반대로, 부호화 데이터가 원본 이미지의 에너지 분포를 이용하여 복호화되면, 원본 이미지는 저하되지 않고 부가 정보를 얻을 수 있다. 그러므로, 부가 정보를 전자 워터마크로서 이용함으로써, 복호화된 이미지의 화질에서 전자 워터마크로 인한 저하가 제거된다.
부호화 데이터를 복호화하여 내장된 광고 정보를 추출함으로써 이미지를 생성할 수 있다. 따라서, 어떠한 오버헤드도 없이 이미지의 부호화 결과와 함께 사이드 정보를 제공할 수 있다. 환언하자면, 부가 정보를 추출하기 위한 어떠한 오버헤드도 없이, 부가 정보를 내장할 수 있으므로, 내장에 의해 얻어진 부호화 데이터는 부가 정보량만큼 압축 (내장-압축)된다고 할 수 있다. 따라서, 이미지의 절반이 부호화될 부분으로서 사용되고, 나머지 절반이 부가 정보로서 사용되면, 그나머지 절반이 이미지의 절반에 내장될 수 있어, 이미지는 절반으로 간단히 압축된다.
부호화 데이터가 원본 이미지의 에너지 분포, 즉 통계치를 이용하여 복호화되므로, 에러에 강한 내구력이 얻어진다. 환언하자면, 높은 견고성을 갖는 부호화인 로부스트 부호화 (◎계 부호화)이 실현가능하다.
부호화 데이터는 원본 이미지의 에너지 분포를 이용하여 복호화된다. 따라서, 예를 들어, 이미지에 관련하여, 이미지의 액티비티가 높거나 이미지의 리던던시가 낮을수록, 내장될 수 있는 부가 정보량은 많아진다. 상술된 바와 같이, 부가 정보의 내장에 의해 얻어진 부호화 데이터는 부가 정보량만큼 압축된다고 할 수 있다. 압축의 관점으로부터, 복호화를 부호화될 정보의 에너지 분포를 이용하여 행해질 수 있도록 정보를 부호화하는 방법 (내장 부호화법)에 따라, 이미지의 액티비티가 높거나 이미지의 리던던시가 낮을수록, 이미지의 압축율은 높아진다. 이러한 점에서, 내장 부호화법은 종래의 부호화법과는 상당히 다르다. 예를 들어, 종래 방법의 MPEG법에서는, 기본적으로, 이미지의 액티비티가 높거나 이미지의 리던던시가 낮을수록, 이미지의 압축율은 낮아진다.
더욱이, 상술된 이미지의 부호화 이외에, 이미지와는 다른 포맷, 예를 들어, 사운드를 이용하여, 사운드를 키로서 이용함으로써 이미지를 제공할 수 있다. 예를 들어, 부호화 장치(110)에서, 계약자에 의해 말해진 "곁쇠"가 이미지에 부가 정보로서 내장된다. 복호화 장치(120)에서, 사용자는 "곁쇠"를 말하도록 요청받고, 음성과 이미지에 내장된 음성을 이용하여 화자의 신원을 확인한다. 이 방법에서는, 예를 들어, 사용자가 화자의 신원 확인 결과 계약자인 경우에만, 이미지가 자동적으로 표시될 수 있다. 이 경우, 부가 정보로서의 음성으로서 소위 "특징 파라미터"가 아닌 사은드파를 사용할 수 있다.
사운드 부호화 이외에도, 부가 정보로서 사운드와 다른 포맷을 사용하여, 얼굴 인식 후 음성 응답 등의 키로서 이미지를 이용하여 사운드를 제공할 수 있다. 상세히 기술하자면, 부호화 장치(110)에서는 사용자의 얼굴 이미지가 사용자에 대한 응답으로서 음성에 내장되고, 복호화 장치(120)에서는 사용자의 얼굴이 사진으로 찍혀지고 사진으로 찍혀진 이미지와 일치하는 내장된 얼굴 이미지를 갖는 음성이 출력됨으로써, 각 사용자마다 상이한 음성 응답을 수행하는 음성 응답 시스템이 실현된다.
또한, 일정한 포맷을 갖는 정보에서, 음성에는 음성 내장을, 이미지에는 이미지 내장과 같은 동일한 포맷을 갖는 다른 정보를 내장할 수 있다. 그렇지 않으면, 이미지에 계약자의 음성 및 얼굴을 내장함으로써, 사용자의 음성 및 얼굴 이미지가 이미지에 내장된 것들과 일치할 때만 이미지가 표시될 수 있는 이중 키 시스템 등이 실현된다.
더욱이, 텔레비젼 방송 신호를 구성하는 동기화된 픽쳐 및 사운드에서, 어느 하나가 다른 것에 내장될 수 있다. 이 경우, 상이한 포맷을 갖는 여러 유형의 정보가 집적되는 소위 "집적 부호화"이 실현된다.
내장 부호화법에서는, 정보 에너지의 분포가 보다 많은 특징을 갖기 때문에, 상술된 바와 같이 보다 많은 정보를 내장할 수 있다. 그러므로, 예를 들어, 두 유형의 정보가 있을 경우 에너지의 특징적인 분포를 갖는 한 유형의 정보를 적응적으로 선택하고 선택된 유형의 정보에 다른 유형의 정보를 내장함으로써, 전체 데이터량을 제어할 수 있다. 환언하자면, 두 유형의 정보 사이에서는, 한 유형의 정보가 다른 유형의 정보량을 흡수할 수 있다. 전체 데이터에 대한 전송 링크의 전송 대역 및 동작 조건과 다른 전송 환경에 적합한 정보 송신 (환경 적합형 네트워크 송신)이 행해질 수 있다.
일례로서, 이미지 내에 그것의 축소된 이미지를 내장함으로써 (또는 사운드 내에 그 사운드를 양으로 낮춘 결과를 내장함으로써), 하위 층들 내의 정보를 축소하여 상위 층들 내의 정보를 생성하는 계층 부호화가 실현된다.
예를 들면, 제1 이미지 내에, 제1 이미지를 검색하기 위한 키로서 제2 이미지를 내장함으로써, 키로서 제2 이미지에 근거하여 제1 이미지를 검색하는 데이터베이스가 실현된다.
다음으로, 도 46은 이미지 상관 관계를 이용하여 원 이미지가 복원될 수 있도록 이미지 내에 부가 정보를 내장하기 위한 내장 부호화가 수행될 때 내장 부호화부(103)의 또 다른 하드웨어 구성을 도시한다. 도 46에 도시된 내장 부호화부(103)는, 출력 I/F(133)가 제공되지 않는 점을 제외하면, 도 30에 도시된 것과 동일하다.
이미지 데이터베이스(101)로부터 프레임 메모리(131)로 이미지가 공급된다. 프레임 메모리(131)는 예를 들면 프레임 단위로 이미지를 임시 저장한다.
CPU(132)는 프로그램 메모리(134)에 저장된 프로그램을 실행함으로써 내장부호화 처리를 수행한다 (후술함). 환언하면, 프로그램 메모리(134)에 저장된 프로그램에 따라서, CPU(132)는 부가 정보 데이터베이스(102)로부터 공급된 부가 정보를 수신하고, 그 부가 정보를 프레임 메모리(131)에 저장된 이미지 내에 내장한다. 구체적으로, CPU(132)는 부가 정보에 기초하여 예를 들면 열 단위로 프레임 메모리(131)에 저장된 이미지를 구성하는 화소들 (수직으로 배열된 화소들의 열들)의 위치를 스위칭 (스와핑)함으로써, 각 화소 열들 내에 부가 정보를 내장한다. 내장된 부가 정보를 갖는 이미지는 부호화 데이터로서 출력된다.
프로그램 메모리(134)는 예를 들면 ROM 또는 RAM으로 이루어지고 내장 부호화를 수행하도록 CPU(132)를 제어하기 위한 컴퓨터 프로그램을 저장한다.
도 47은 도 46에 도시된 내장 부호화부(103)의 기능 구성을 도시한다. 도 47에 도시된 기능 구성은 CPU(132)가 프로그램 메모리(134)에 저장된 컴퓨터 프로그램을 수행하도록 형성될 수 있다.
도 46에 도시된 바와 같이, 프레임 메모리(131)는 이미지 데이터베이스(101)로부터 공급된 이미지를 임시 저장한다.
스와핑 정보 생성부(136)가 부가 정보 데이터베이스(102)로부터의 부가 정보를 판독하고, 그 부가 정보에 기초하여, 프레임 메모리(131)에 저장된 1프레임 이미지의 열들의 위치가 어떻게 스위칭되어야 하는지를 나타내는 스와핑 정보를 생성할 수 있다. 환언하면, 1프레임 이미지가 M개의 화소 행×N개의 화소 열로 형성되는 경우, 이미지 내의 n번째 화소 열이 n'번째 열로 스위칭될 때, 스와핑 정보 생성부(136)는 n과 n'가 서로 상관되는 스와핑 정보를 생성하고, 여기서 n와 n' 각각은 1 이상 N 이하의 정수이다.
여기서, 1프레임 이미지가 N개 열을 갖고, N개 열 모두가 스위칭되어야 할 때, 스위칭의 방법 수는 N!이고, 여기서 N!은 계승을 나타낸다. 따라서, 이 경우, 하나의 프레임 내에, 최대 log2(N!)개 비트를 갖는 부가 정보가 내장될 수 있다.
스와핑 정보 생성부(136)에 의해 생성된 스와핑 정보는 스와핑부(137)에 공급된다. 스와핑 정보 생성부(136)로부터 공급된 스와핑 정보에 따라서, 스와핑부(137)는 프레임 메모리(131)에 저장된 1프레임 이미지의 열들의 위치를 스위칭한다.
다음으로, 도 48에 도시된 흐름도를 참조하여, 내장 부호화부(103)에 의해 수행되는 내장 부호화 처리에 대하여 이하에서 설명한다.
이미지 데이터베이스(101)로부터 이미지가 판독되고 프레임 메모리(131)에 순차 공급되어 저장된다.
단계 S181에서, 스와핑 정보 생성부(136)는 부가 정보 데이터베이스(2)로부터 1프레임 이미지 내에 내장될 수 있는 데이터 량을 갖는 부가 정보를 판독한다. 환언하면, 예를 들어 상술한 바와 같이, 1프레임 이미지가 N개 열을 갖고 N개 열들 모두가 스위칭되어야 할 때, 최대 log2(N!)개 비트를 갖는 부가 정보가 하나의 프레임 내에 내장될 수 있다. 따라서, log2(N!) 이하의 비트 수를 갖는 부가 정보가 부가 정보 데이터베이스(102)로부터 판독된다.
단계 S182로 진행하여, 스와핑 정보 생성부(136)는 단계 S181에서 판독된 부가 정보에 기초하여 스와핑 정보를 생성한다. 부가 정보에 기초하여, 스와핑 정보생성부(136)는 프레임 메모리(131)에 저장되어 있는 피처리 프레임의 1번째 내지 N번째 열들 중에서 예를 들면, 1번째 열을 제외한 2번째 내지 N번째 열들이 어느 열들과 스위칭되어야 하는지를 나타내는 스와핑 정보를 생성한다. 생성된 스와핑 정보는 스와핑부(137)에 공급된다.
스와핑부(137)는, 스와핑 정보 생성부(136)로부터 스와핑 정보를 수신하면, 단계 S183으로 진행하여, 프레임 메모리(131)에 저장되어 있는 피처리 프레임의 열들의 위치를 스와핑한다. 열들의 스와핑된 위치들을 갖는 프레임이 프레임 메모리(131)로부터 판독되어, 부호화 데이터로서 출력된다.
프레임의 열들의 위치의 스와핑은 이미지 데이터(를 구성하는 화소들)가 프레임 메모리(131) 내에 저장되어 있는 위치를 변경함으로써 수행될 수 있다. 그러나, 예를 들면, 프레임 메모리(131)로부터 프레임이 판독될 대 어드레스를 제어함으로써, 결과적으로 스와핑된 열들의 위치를 갖는 프레임이 프레임 메모리(131)로부터 판독될 수 있다.
이 실시예에서는, 스와핑 정보가 2번째 내지 N번째 열들이 어느 열들과 스와핑되어야 하는지를 나타내는 정보를 포함하지만, 1번째 열이 어느 열과 스와핑되어야 하는지를 나타내는 정보를 포함하지는 않는다. 따라서, 스와핑부(137)는 2번째 내지 N번째 열들의 스와핑을 수행하지만, 1번째 열의 스와핑은 수행하지 않는다.
피처리 프레임의 2번째 내지 N번째 열들 모두의 스와핑이 완료된 후에, 처리는 단계 S184로 진행하여, 프레임 메모리(131)가 아직 처리되지 않은 프레임을 저장하고 있는지 여부를 판정한다. 만일 프레임 메모리(131)가 아직 처리되지 않은프레임을 저장하고 있다면, 처리는 단계 S181로 되돌아가서, 아직 처리되지 않은 프레임이 유사하게 처리된다.
단계 S184에서, 만일 프레임 메모리(131)가 아직 처리되지 않은 프레임을 저장하고 있지 않다면, 내장 부호화 처리가 종료된다.
상술한 내장 부호화 처리에 따르면, 1 프레임 이미지가 부호화되어 다음의 부호화 데이터가 생성된다.
부가 정보가 (도 49a에 도시된 N개 열을 갖는 피처리 프레임에서의) 2번째 열과 6번째 열의 스와핑 (도 49b), 3번째 열과 9번째 열의 스와핑 (도 49c), 4번째 열과 7번째 열의 스와핑 (도 49d), 5번째 열과 3번째 열의 스와핑 (도 49e), 6번째 열과 8번째 열의 스와핑(도 49f), 7번째 열과 4번째 열의 스와핑 (도 49g), 8번째 열과 5번째 열의 스와핑 (도 49h), 9번째 열과 2번째 열의 스와핑 (도 49i), 및 N번째 열과 N번째 열의 스와핑 각각에 대응한다고 가정하면, 상기 스와핑 타입들을 나타내는 스와핑 정보가 스와핑 정보 생성부(136)에 의해 생성된다. 스와핑부(137)에서는, 상기 스와핑 정보에 따라서, 도 49j에 도시된 프레임이 처리되어 2번째 열이 6번째 열과 스와핑되고, 3번째 열이 9번째 열과 스와핑되고, 4번째 열이 7번째 열과 스와핑되고, 5번째 열이 3번째 열과 스와핑되고, 6번째 열이 8번째 열과 스와핑되고, 7번째 열이 4번째 열과 스와핑되고, 8번째 열이 5번째 열과 스와핑되고, 9번째 열이 2번째 열과 스와핑되고, N번째 열이 N번째 열과 스와핑된다. 그 결과, 도 49j에 도시된 이미지가 부호화되어 도 49k에 도시된 이미지가 생성된다.
도 49a 내지 49k에서의 1번째 내지 9번째 열을 주목하여, 이하에서 내장 부호화 처리에 대하여 더 설명한다.
이 실시예에서는, 1번째 열의 스와핑이 수행되지 않는다 (금지된다). 따라서, 2번째 열에 관하여, 1번째 열 내지 9번째 열 중에서, 1번째 열을 제외한 2번째 열 내지 9번째 열의 8개의 열이 스와핑에 사용된다. 이 경우는 2번째 열과 스와핑되는 8개의 열을 갖기 때문에, "0" 내지 "7"의 8개의 값 중 하나가 부가 정보로서 내장될 수 있다. "0" 내지 "7"이 2번째 내지 8번째 열에 대한 부가 정보로서 할당된다고 가정하면, 도 49b에 도시된 바와 같이, 2번째 열이 6번째 열과 스와핑될 때, 6번째 열에 대한 스와핑에 대해 할당되는 "4"가 부가 정보로서 내장된다.
2번째 열이 6번째 열과 스와핑된 후에, 2번째 내지 5번째 열 및 7번째 내지 9번째 열의 7개의 열이 하나의 열과 스와핑되는 열들로서 남게 된다. 3번째 열은 그 7개의 열 중 하나와 스와핑된다. 따라서, 이 경우, 예를 들면, "0" 내지 "6"의 7개의 값 중 하나가 부가 정보로서 내장된다. 상기 경우와 유사하게, 2번째 내지 5번째 열 및 7번째 내지 9번째 열을 스와핑하기 위하여 "0" 내지 "6"이 부가 정보로서 할당된다고 가정하면, 도 49c에 도시된 바와 같이, 3번째 열이 9번째 열과 스와핑될 때, 9번째 열에 대한 스와핑에 대해 할당되는 "6"이 부가 정보로서 내장된다.
그 후에, 부가 정보가 유사하게 이미지 내에 내장된다. 상술한 내장 기술에서는, 부가 정보의 내장이 진행됨에 따라서, 내장 가능한 비트의 수가 감소한다.
상술한 바와 같이, 부가 정보에 응답하여, 프레임 메모리(131)에 저장된 이미지를 구성하는 하나 이상의 화소의 세트인 각 열 내의 화소들의 위치를 스와핑함으로써, 그리고, 각각의 화소 열 내에 부가 정보가 내장될 때, 역 스와핑을 수행함으로써, 원 이미지가 복원될 수 있고, 사용된 스와핑 방법은 부가 정보로서 사용될 수 있다. 그러므로, 부가 정보를 내장하여, 데이터의 양을 증가시키지 않고도 이미지의 화질 열화를 최대한도로 제거할 수 있다.
내장된 부가 정보를 갖는, 즉 스와핑된 열 위치들을 갖는 이미지의 열들은, 이미지 내의 상관 관계, 즉 원 이미지 내의 열들과 동일하게 적당한 위치의 열들에 대한 상관 관계를 이용하여, 오버헤드 없이도, 원 이미지 내의 열들과 스와핑될 수 있다. 또한, 스와핑 방식은 부가 정보를 복호화하는 데 사용된다. 따라서, 결과적인 복호화된 이미지 (재생된 이미지)에서는, 부가 정보의 내장에 따른 화질 열화가 기본적으로 발생하지 않는다.
그러나, 적당한 위치의 열들이 부호화 데이터에 존재하지 않을 때는, 상술한 바와 같이, 이미지 상관 관계를 이용하여 이미지 및 부가 정보를 재생할 수 없다. 따라서, 여기서, 도 48에 도시된 내장 부호화 처리에서는, 각 프레임의 1번째 열은 스와핑되지 않고, 변하지 않은 채로 부호화 데이터로서 출력된다.
그럼에도 불구하고, 1번째 열을 포함하는 모든 열을 스와핑함으로써 내장 부호화가 수행될 수 있다. 이 경우, 부호화 데이터 내의 오버헤드로서 스와핑된 열들의 적어도 하나의 원 위치를 포함함으로써, 이미지 및 부가 정보가 용이하게 재생될 수 있다.
화소 열들을 연속적으로 스와핑함으로써 이미지 내에 부가 정보를 내장하는것 외에, 부가 정보의 내장은 모든 화소 열들을 동시에 스와핑함으로써 수행될 수 있다. 이 경우, 모든 열들이 동시에 스와핑되는 패턴의 수는 열 수의 계승이다. 패턴들 중에서, 어느 패턴이 선택되는지는 부가 정보에 의해 결정된다. 내장된 부가 정보의 복호화는, 내장된 부가 정보를 갖는 이미지에서, 모든 열들이 열 수의 계승과 같은 회수만큼 스와핑되도록 행해지고, 열 수의 계승에 대응하는 스와핑 패턴들 중에서, 상관 관계에 기초하여 하나의 스와핑 패턴이 결정된다.
이 예에서, 이미지의 각 열은 자신의 부가 정보에 따라 스와핑된다. 한편, 열들의 스와핑은, 가령, 부가 정보의 다이나믹 레인지, 분산 및 히스토그램 등, 부가 정보의 특성값에 따라 수행될 수 있다.
다음에, 도 50은, 이미지 내의 상관도를 사용함으로써 부가 정보 및 최초 이미지를 재생하여, 도 47에 도시된 내장 부호화부(103)에 의해 출력된 부호화 데이터를 복호화 하기 위한 내장 복호화부(106)의 하드웨어 구성을 나타내고 있다. 도 30에 도시된 내장 복호화부(106)의 구성은, 출력 I/F(142)가 제공되지 않는다는 점을 제외하고는, 도 33에 도시된 구성과 동일하다.
부호화 데이터, 즉, 내장된 부가 정보를 갖는 이미지(이하, "내장 부호화 이미지"라 함)가 프레임 메모리(141)에 공급된다. 프레임 메모리(141)는, 내장 부호화 이미지를, 가령 프레임 단위로 일시적으로 저장한다.
CPU(143)는 프로그램 메모리(141)에 저장된 프로그램을 실행함으로써 내장 복호화 처리를 행한다. 달리 말하면, CPU(143)는 이미지 내의 상관도를 사용함으로써 부가 정보 및 최초 이미지를 재생하여 프레임 메모리에 저장된 내장 부호화이미지를 복호화한다. 보다 구체적으로 말하면, 내장 부호화 이미지를 구성하는 화소의 열들 중에서, 이미 복호화된 최종 열과 다른 열 간의 상관도가 CPU(143)에 의해 산출된다. CPU(143)는, 내장 부호화 이미지를 구성하는 화소들의 모든 열에 대해, 이미 복호화된 열에 대한 상관도를 최대화하는 열이 이미 복호화된 열의 바로 오른쪽 열로 대체되는 처리를 행하여, 최초 이미지가 재생된다. 또한, 최초 이미지가 재생되도록 내장 부호화 이미지가 복호화될 때 내장 부호화 이미지의 열에 적용된 스와핑 패턴에 기초하여, CPU(143)는 부가 정보를 재생한다.
프로그램 메모리(144)는 내장 복호화 처리를 행하기 위해 CPU(143)를 제어하는 컴퓨터 프로그램을 저장한다.
도 51은 도 50에 도시된 내장 복호화부(106)의 기능적인 구성을 나타낸다. 이러한 기능적 구성은 CPU(143)가 프로그램 메모리(144)에 저장된 컴퓨터 프로그램을 실행하도록 하는 방식으로 실현된다.
도 50을 참조하여 전술한 바와 같이, 프레임 메모리(141)는 내장 부호화 이미지를 일시적으로 저장한다.
스와핑부(146)는, 최초 위치로 이미 스와핑된 최종 열과 프레임 메모리(141)에 저장된 처리될 프레임 내의 다른 열 (아직 최초 위치로 스와핑되지 않은 열) 간의 상관도 각각을 산출하고 산출된 상관도에 기초하여 스와핑을 행함으로써 아직 최초 위치로 스와핑되지 않은 처리될 열을 최초 위치로 복귀시킬 수 있다. 스와핑부(146)는, 프레임의 열들이 스와핑된 방법을 나타내는 스와핑 정보를 스와핑 정보 변환부(147)에 제공한다.
스와핑부(146)로부터의 스와핑 정보, 즉, 스와핑 전의 각 열 (처리될 프레임 내에 있음)의 위치와 스와핑 후의 각 열의 위치 간의 일치에 기초하여, 스와핑 정보 변환부(147)는 내장 부호화 이미지의 내장된 부가 정보를 복호화할 수 있다.
도 52에 도시된 플로우 차트를 참조하여, 도 51의 내장 복호화부(106)에 의해 수행되는 내장 복호화 처리가 설명될 것이다.
프레임 메모리(141)는 공급된 내장 부호화 이미지 (부호화 데이터)를, 가령, 프레임 단위로, 순차 저장한다.
단계 S191에서, 스와핑부(146)는, 가령, 프레임 내의 열들의 수를 계산하기 위한 변수 n으로서 초기값 1을 설정하고, 단계 S192로 진행한다. 단계 S192에서, 스와핑부(146)는, 변수 n이 프레임 내의 열들의 수로서 N에서 1을 뺀 N-1 보다 크지 않은지를 판정한다.
단계 S192에서, 스와핑부(146)가 변수 n이 N-1 보다 크지 않다고 판정하면, 스와핑부(146)는 단계 S193으로 진행한다. 단계 S193에서, 스와핑부(193)는 프레임 메모리(141)에 저장된 처리될 프레임으로부터 화소들의 n번째 열을 판독하고, 화소들 (화소 레벨)이 요소로서 배열된 벡터 vn (이하, "열 벡터"라 함)을 생성한다. 여기서, 프레임이 화소들의 M 열을 가질 때, 열 벡터 vn (또한, 후술될 열 벡터 vk도)은 M차 벡터이다.
그 후에, 단계 S194에서, 스와핑부(146)는, n번째 열로부터 오른쪽의 열들의 수를 계산하기 위한 변수 k로서 n+1의 초기값을 설정하고, 단계 S195로 진행한다. 단계 S195에서, 스와핑부(146)는 화소들의 k번째 열을 판독하고 요소로서 화소들의K번째 열을 갖는 열 벡터 vk를 생성한다. 스와핑부(146)는 단계 S196으로 진행한다.
단계 S196에서, 스와핑부(146)는 열 벡터 vn 및 vk를 사용하여 n번째 열과 k번째 열 간의 상관도를 계산한다.
즉, 스와핑부(146)는 다음의 식에 따라, 열 벡터 vn과 열 벡터 vk 간의 거리 d(n,k)를 계산하며,
d(n,k) = │vn - vk │
= (∑(A(m,n) - A(m,k))2)1/2
여기서, ∑은 m이 1에서 M을 변화할 때 얻는 합을 나타내고, A(i,j)는 처리될 프레임의 i번째 행 및 j번째 열에 위치된 화소(화소 레벨)을 나타낸다.
스와핑부(146)는 n번째 열과 k번째 열 간의 상관도를 나타내는 상관값으로서, 열 벡터 vn과 열 벡터 vk 간의 거리 d(n,k)의 역수를 계산한다.
n번째 열과 k번째 열 간의 상관도를 계산한 후에, 스와핑부(146)는 단계 S197로 진행하여, 변수 k가 프레임의 열의 수로서 N에서 1을 뺀 N-1 보다 크지 않은지를 판정한다. 단계 S197에서, 스와핑부(146)가 변수 k가 N-1 보다 크지 않은 것으로 판정하면, 스와핑부(146)는 단계 S198로 진행하고 변수 k는 1만큼 증가된다. 그 후에, 스와핑부(146)는 단계 S197로 돌아가고, 변수 k가 N-1 보다 크다고 결정될 때까지 단계 S195 내지 S198을 반복적으로 행한다. 즉, 내장 부호화 이미지 내의 n번째 열 및 그 오른쪽 열 간의 상관도를 계산할 수 있게 된다.
그 후에, 단계 S197에서, 스와핑부(146)가 변수 k가 N-1 보다 큰 것으로 결정하면, 스와핑부(146)는 단계 S198로 진행하고, n번재 열에 대한 상관도를 최대화하는 k를 계산한다. n번째 열에 대한 상관도를 최대화하는 k가 가령, K로 표시되면, 스와핑부(146)는, 단계 S200에서, 프레임 메모리(141)에 저장된 처리될 프레임 내의 (n+1)번째 열과 k번째 열의 스와핑을 행하고, 즉, k번째 열을 n번째 열의 오른쪽 인근의 (n+1)번째 열로 스와핑한다.
후속으로, 단계 S201에서, 변수 n은 1만큼 증분되며, 스와핑부(146)는 단계 S192로 돌아가고, 변수 k가 N-1 보다 크다고 결정될 때까지 단계 S192 내지 S201을 반복한다.
본 실시예에서, 내장 부호화 이미지 내의 1번째 열은 최초 이미지의 1번째 열로서 불변이다. 따라서, 변수 n이 초기값 1일 때, 1번째 열에 대해 가장 높은 상관도를 갖는 내장 부호화 이미지 내의 열은 1번째 열의 오른쪽 인근의 2번째 열로 스와핑된다. 1번째 열에 대해 가장 높은 상관도를 갖는 열이 기본적으로 이미지 내의 상관도로부터 최초 이미지 내의 2번째 열이기 때문에, 이 경우 내장 복호화 처리 내의 내장 부호화 이미지 내의 열로 스와핑된 최초 이미지 내의 2번째 열은 최초 위치로 복귀된다.
변수 n이 2일 때, 최초 위치로 복귀된 2번째 열에 대한 최대 상관도를 갖는 내장 부호화 이미지 내의 열은 2번째 열의 오른쪽 인근의 3번째 열로 스와핑된다. 2번째 열에 대한 최대 상관도를 갖는 열이 기본적으로 이미지 내의 상관도로부터 최초 이미지 내의 3번째 열이기 때문에, 이 경우 내장 복호화 처리 내의 내장 부호화 이미지 내의 열로 스와핑된 최초 이미지 내의 3번째 열은 최초 위치로 복귀된다.
후속하여, 프레임 메모리에 저장된 내장 부호화 이미지는 최초 이미지를 생성하도록 유사하게 복호화된다.
단계 S192에서, 스와핑부(146)가 변수 n이 N-1보다 크다고 판정하면, 즉, 내장 부호화 이미지를 구성하는 2 내지 N번째 열이 이미지 내의 상관도를 사용함으로써 최초 위치로 복귀되고, 최초 이미지를 감소시키도록 프레임 메모리(141)에 저장된 내장 부호화 이미지가 복호화될 스와핑부(146)는 단계 S202로 진행하고 프레임 메모리(141)로부터 복호화된 이미지가 판독된다. 단계 S202에서, 스와핑부(146)는, 스와핑부(146)가 최초 이미지를 재생하도록 내장 부호화 이미지를 복호화할 때 내장 부호화 이미지 내의 2 내지 N번째 열 각각을 스와핑하는 방식을 나타내는 스와핑 정보를 스와핑 정보 변환부(147)로 출력한다. 스와핑부(146)로부터의 스와핑 정보에 기초하여, 내장 부호화 이미지 내의 내장 부가 정보가 복호화되고 스와핑 정보 변환부(147)에 의해 출력된다.
그 후에, 단계 S203에서, 이 처리는 프레임 메모리(141)가 아직 처리되지 않은 내장 부호화 이미지의 프레임을 저장하는지를 판정한다. 프레임 메모리(141)가 이 프레임을 저장하면, 처리는 단계 S191로 복귀하고, 동일한 단계들을 재차 수행함으로써 프레임을 처리한다.
단계 S203에서, 프레임 메모리가 아직 처리되지 않은 프레임을 저장하지 않으면, 내장 복호화 처리는 종료된다.
전술한 바와 같이, 부가 정보가 내장된 부호화 데이터는 이미지 내의 상관도를 사용함으로써 최초 이미지 및 부가 정보를 재생하도록 복호화될 수 있어, 이에 따라 부호화 데이터는 어떤 오버헤드 없이도 최초 이미지 및 부가 정보를 재생하도록 복호화될 수 있다. 따라서, 부가 정보의 내장으로 인한 이미지 품위의 열화가 기본적으로 발생하지 않는다.
도 52에 도시된 내장 복호화 처리에서, 이미 복호화된 최종 열 (n=1일 때, 내장 부호화 처리에서 스와핑된 1번째 열)과 아직 복호화되지 않은 열 간의 상관이 계산되고, 이 상관에 기초하여, 이미 복호화된 최종 열의 오른쪽 인근의 열로 스와핑되어야 하는 열이 검출된다. 그러나, 아직 복호화되지 않은 열에 대한 이미 복호화된 복수의 열들의 상관도를 계산함으로써, 이미 복호화된 최종 열의 오른쪽 인근의 열로 스와핑되어야 할 열이 검출될 수 있다.
도 53 내지 55에, 상기한 내장 부호화 처리 및 에러 검출 회로의 시뮬레이션 결과가 도시되었다.
도 53은 내장 부호화 처리에 의해 처리될 이미지 (최초 이미지)를 나타내며, 이미지의 길이 방향이 수직 방향일 때 512 수평 화소 832 수직 화소로 형성된다.
도 54는 도 53의 이미지 상의 내장 부호화 처리를 수행한 결과를 나타낸다. 도 54에 도시된 이미지 (내장 부호화 이미지)에서, log2(512!)을 갖는 부가 정보가 내장된다. 도 54로부터 명백한 바와 같이, 내장 부호화 처리는 전술한 바와 같이 이미지 암호화 기능을 갖는다.
도 55는 도 53에서 내장된 부호화 처리를 수행하는 도 54에서의 결과에서 내장된 부호화 처리를 수행하여 얻어진 복호화된 이미지를 나타낸다. 도 53과 도 55의 비교는 원이미지가 화질에서 악화없이 재생된다. 내장된 복호화 처리가 내장-부호화 이미지를 복호화하여 원이미지를 재생하면, 또한 부가 정보가 내장-부호화 이미지에서 스와핑된 열의 방식에 기초하여 정확하게 재생된다.
전술된 경우에서, 내장 부호화부(103)는 도 56에서 나타낸 바와 같이 N 열에 의해 형성된 이미지를 부호화 이미지로서 사용하고, 제1 열을 고정하고 부가 정보에 따라 제2에서 제N 열로 스와핑함으로써 내장된 부호화 처리를 실행하도록 지정된다. 그러나, 내장 부호화부(103)는 도 57에 나타낸 바와 같이 H 라인에 의해 형성된 이미지를 사용할 수 있고 제1 열을 고정하고, 부가 정보에 따라 제2에서 제H 라인으로 스와핑함으로써 내장된 부호화 처리를 실행하도록 지정될 수 있다.
내장 복호화부(106)는 이미지에서 상관 관계를 사용함으로써 내장-부호화된 결과를 복호화하도록 지정되어 원이미지와 부가 정보를 재생하고, 내장 복호화부(106)는 이미지에서 상관성, 연속성, 및 유사성을 사용하여 내장-부호화된 결과를 복호화하도록 지정될 수 있다.
도 52의 예에서, 도 56의 이미지에서의 각 열에 대하여, 열을 구성하는 화소의 화소 레벨을 갖는 각 열 벡터 vn이 사용되고 열 벡터 사이의 거리의 역수가 상관 관계로 정의됨으로써, 상관 관계만이 부호화 데이터를 복호화하는데 사용된다. 이때, 내장 복호화부(106)는 우선 제1 열 (전술된 바와 같이 고정됨)의 열 벡터까지 최단 거리를 갖는 열 벡터를 검출하고, 검출된 열 벡터에 대응하는 열을 제2 열로서 처리한다. 내장 복호화부(106)는 부호화 데이터로부터 제2 열의 걸럼 벡터에최단 거리를 갖는 열 벡터를 검출하고, 검출된 열에 대응하는 열을 제3 열로서 처리한다. 연속하여, 부호화 데이터로부터, 유사한 검출이 제N 열까지 수행됨으로써, 원이미지가 재생되고, 제2을 제N 열로 스와핑하는 방식이 부가 정보로서 재생된다.
도 56에서 나타낸 이미지에서 제n 열 (n = 1, 2, …, N)의 열 벡터 v1, v2, …, Vn에 의해 그려진 경로가 예를 들어 도 58에 나타낸 가는 점선에 의해 나타내어진다.
이 경우에, 제1 열로부터 최단 거리를 갖는 각 열 벡터를 연속적으로 검출함으로써, 도 58에서 두꺼운 점선으로 나타낸 경로가 얻어진다. 즉, 열 벡터가 v1, v2, v13, v3, v14, v4, v5, v6, 등의 순서로 검출된다. 그러므로, 도 58에서 나타낸 예에서 열 벡터는 상관 관계 (여기서는, 열 벡터 사이의 거리)를 사용하여 간단하게 검출될 수 없다. 결과적으로, 이미지와 부가 정보는 정확하게 재생될 수 없다.
따라서, 제1 열의 열 벡터 v1로 최단 거리를 갖는 열 벡터를 검출하고 검출된 열 벡터에 대응하는 열을 제2 열로서 처리하여, 제2 열의 열 벡터 v2와 제1 열의 열 벡터 v1 사이의 차 벡터 Δv12가 도 59에 나타낸 바와 같이 찾아진다. 다음으로, 차 벡터 Δv12를 가산함으로써 얻어진 벡터에 의해 나타내어진 포인트 P12에 가장 가까운 열 벡터가 검출되고, 검출된 열 벡터에 대응하는 열이 제3 열로서 처리된다.
제4 열에 관하여, 제3 열의 열 벡터 v3와 제2 열 벡터의 열 벡터 v2 사이의차 벡터가 찾아지고, 차벡터를 열 벡터 v3에 가산하여 얻어진 벡터에 의해 나타내어진 포인트에 가장 가까운 열 벡터가 검출되고, 검출된 열 벡터에 대응하는 열이 제4 열로서 처리된다. 연속하여, 유사한 처리가 제N 열까지 실행된다.
전술된 바와 같이, 제n 열과 제(n+1) 열 사이의 상관 관계 뿐만 아니라, 예를 들어 제n 열의 열 벡터 vn과 제(n+1) 열의 열 벡터 vn+1의 사이의 연속성, 즉 차 벡터 vn+1 - vn의 변화의 연속성을 사용하여, 열 벡터가 도 58의 가는 점선 라인으로 그려진 경로에 의해 나타내어진 정확한 순서로 검출되어, 이미지와 부가 정보가 정확하게 재생될 수 있다.
도 49a에서 49k를 사용하여 설명된 예에서, 부호화되는 이미지의 화소 (화소 제1 열을 제외함)은 열 단위로 스와핑되어, 이미지의 부가 정보의 내장, 즉, 내장된 부호화 처리가 실행된다. 그러나, 내장된 부호화 처리는 예를 들어 라인의 단위로 부호화되는 이미지의 화소를 스와핑하고, 시간 도메인에서 배열된 프레임의 사전 결정된 수에서 동일하게 위치된 화소의 열을 스와핑함으로써 실행될 수 있다.
또한, 내장된 복호화 처리는 예를 들어 열 단위로 부호화되는 이미지의 화소를 스와핑하고 라인 단위로 스와핑된 화소를 갖는 이미지의 화소를 스와핑하여 실행될 수 있다.
예의 방식에 의해, 부가 정보에 기초하여, 도 60에 나타낸 바와 같이 M 수직 화소에 의해 N 수평 화소의 열의 스와핑에 의해, 예를 들어 도 61a에 나타낸 바와 같은 내장-부호화된 이미지를 형성한다. 도 61a에서, 도 60에서 이미지의 제1 열은 제5 열과 스와핑되고, 제2 열은 제N 열과 스와핑되고, 제3 열은 제1 열과 스와핑되고, 제4 열은 제2 열과 스와핑되고, 제5 열은 제4 열과 스와핑되고, 제6 열은 제3 열과 스와핑되고, …, 제 N 열은 제6 열과 스와핑된다.
또한, 도 61a에서 이미지의 라인들을 스와핑하여, 도 61b에서 나타낸 바와 같이 내장-부호화된 이미지가 형성된다. 도 61b에서, 도 61a의 이미지의 제1 라인은 제3 라인과 스와핑되고, 제2 라인은 제5 라인과 스와핑되고, 제3 라인은 제2 라인과 스와핑되고, 제4 라인은 제M 라인과 스와핑된다.
내장-부호화된 이미지에서 제1 열의 왼쪽에서 스와핑되지 않은 열이 있으면, 그 열을 제1 열로서 사용하고 도 52를 이용하여 설명된 내장된 복호화 처리를 실행함으로써, 내장-부호화된 이미지가 도 60에 나타낸 원이미지를 재생하도록 복호화될 수 있다. 즉, 열 방향과 라인 방향 양쪽에서 스와핑이 실행됨으로써 얻어진 내장-부호화된 이미지에 관하여, 상기 식에서 Σ에 가산된 항의 순서만 변화되고, 자신을 더한 항은 변하지 않는다. 그러므로, 열만 스와핑하는 경우와 열과 라인이 둘다 스와핑하는 경우에, 두 경우에 의해 얻어진 내장-부호화된 이미지가 동일하면, 상기 식에 의해 얻어진 거리 d(n,k)는 변하지 않는다. 따라서, 열과 라인을 모드 스와핑하여 얻어진 내장-부호화된 이미지가 도 52에서의 내장된 복호화 처리에 의해 복호화되어 열만 스와핑하여 얻어진 내장-부호화된 이미지와 유사하게 원이미지와 부가 정보를 재생할 수 있다.
따라서, 열과 라인 모두가 스와핑될 때, 열과 라인 중에서 어떤 종류의 항목이 먼저 또는 나중에 스와핑되는가는 내장된 복호화 처리에 영항을 미치지 않는다. 그러므로, 내장된 부호화 처리에서 열과 라인 중에서, 어떤 종류의 항목이 먼저 또는 나중에 스와핑될 수 있고, 또한 내장된 복호화 처리에서, 어떤 종류의 항목이 먼저 또는 나중에 스와핑될 수 있다. 또한, 열과 라인의 스와핑이 교대로 실행될 수 있다.
내장된 부호화 처리에서 열만 스와핑될 때, 내장-부호화된 이미지가 복호화되어 원이미지를 재생하면, 내장-코디된 이미지를 스와핑하는 패턴이 형성되어 부가 정보가 복호화된다. 그러나, 열과 라인이 모두 스와핑될 때, 복호화된 이미지에서 위치(m′, n′)에 대한 정보가 제m 라인 및 제n 열의 위치(m, n)의 화소와 스와핑되어 부가 정보를 복호화한다.
도 48에 나타낸 내장된 부호화 처리에서, 부호화되는 이미지의 제1 열만 고정되고, 내장 복호화부(106)는 고정된 제1 열을 복호화의 기준으로 사용하여 다른 열의 스와핑을 실행한다. 그러나, 복호화의 기준은 제1 열일 필요는 없지만, 열이 내장 부호화부(103)와 내장 복호화부(106)에서 설정되면 마지막 제N 열 또는 임의의 열이 될 수 있다. 복호화의 기준은 화소의 한 열일 필요는 없지만, 한 화소이다.
예의 방식에 의해, 제1 열이 복호화의 기준으로서 사용되고, 이미지의 상관 관계가 내장-부호화된 이미지에서 화소의 다른 열의 스와핑을 실행할 때, 한 열의 스와핑이 실패하면, 연속하는 열 (본 실시예에서, 스와핑이 실패한 열로부터 오른쪽 열)의 스와핑이 실패할 가능성이 높다. 이 경우, 원이미지는 재생될 수 없고, 정확한 부가 정보가 재생될 수 없다.
따라서, 내장된 부호화 처리에서, 복수의 열이 (스와핑되지 않고) (스와핑에사용되는 것이 방해되어) 남을 가능성이 있다.
예들 들어, 열 방향으로 배열된 화소의 각 세트가 스와핑부으로 사용되는 스와핑이 실행될 때, 도 62에서 해칭(hatching)된 각 두 열은 복호화의 기준으로서 사용될 수 있고, 다른 열 (도 62에서 공백으로 나타냄)은 스와핑되는 열로 사용될 수 있다.
도 62에 나타낸 경우에서, 이미지가 2N 개의 열을 가질 때, 이미지에서 내장될 수 있는 부가 정보의 데이터 양은 최대 log2(N!) 비트이다.
내장된 부호화는 열 또는 라인의 단위 보다 작은 단위에서 적어도 한 화소의 세트를 스와핑함으로써 실행될 수 있다.
예를 들어, 도 63에 나타낸 바와 같이, 이미지의 각 열이 연속적으로 배열된 하나 이상의 화소 (5개의 화소와 같이)의 세트로 분할되는 스와핑이 실행될 수 있고, 각 세크는 스와핑부으로 사용될 수 있다. 이 경우에, 도 63에 나타낸 바와 같이, 체크 패턴에서 두 그룹으로 분류된 스와핑부에서, 한 그룹 (예들 들어, 도 63에 나타낸 공백)은 스와핑에 사용되고, 다른 그룹 (예들 들어, 도 63에 나타낸 해칭된 부분)은 복호화의 기준으로서 사용될 수 있다. 이 기술이 수행될 때, 라인의 수가 M개 스와핑부이 있는 화소의 수이고, 열의 수가 2N일 때, 이미지에서 내장될 수 있는 부가 정보의 데이터 양은 최대 log2((M×N)!) 비트이다.
예들 들어, 도 64에 나타낸 바와 같이 이미지의 각 열로부터 6개 화소와 같이 각 화소의 사전 결정된 수가 추출되는 스와핑이 실행되고, 추출된 화소 세트의 각각 (도 64에서 원으로 지정된 화소 세트, 십자로 지정된 화소 세트, 삼각형으로지정된 화소 세트 등)은 스위핑부으로서 사용된다. 또한 이 경우에, 체크 패턴에서 이미지를 구성하는 화소를 도 64에 나타낸 바와 같이 두 그룹으로 나눔으로써, 한 그룹 (예를 들어, 도 64에 나타낸 공백)은 스와핑에 사용될 수 있고, 다른 그룹 (예를 들어, 도 64에서 해칭된 부분)은 복호화의 기준으로서 사용될 수 있다. 이 기술이 실행될 때, 이미지의 각 열로부터, 화소의 각 세트가 2M 화소마다 (도 64에 나타낸 예에서 6개 화소마다) 추출되고 스와핑부으로서 사용되며, 이미지가 N 열이면 이미 내장될 수 있는 부가 정보의 데이터 양이 최대 log2((M×N)!) 비트이다. 예들 들어, 도 64에서 각 원으로 지정된 스와핑부은 각 열에서 참조 번호(1420, 1421, 및 1422)로 표시되어 있다. 따라서, 각 열에서 원으로 지정된 스와핑부을 유의하여, N!개 패턴에서 스와핑이 실행될 수 있다. 따라서, 2M개 화소 마다 각 열로부터 추출된 화소의 각 세트가 스와핑부으로 사용될 때, M개 스와핑부이 존재한다. 그러므로, 도 64에 나타낸 전체 이미 최대 (M×N)!의 스와핑 패턴이 가능하다. 그 결과, 이미 될 수 있는 부가 정보의 데이터 양은 log2((M×N)!) 비트이다.
도 62 내지 도 64에 도시된 예에서, 스와핑될 다수의 화소 세트 (도 62 내지 도 64에 도시된 공백)는 다수의 복호화 기준 (도 62 내지 도 64에 도시된 해칭 부분)에 인접한다. 이러한 경우에, 예를 들어, 각 복호화 기준 및 스와핑될 각 화소 세트 사이의 각 거리 제곱의 합의 역수는 상관 관계로서 이용할 수 있다.
상술한 바와 같이, 내장 부호화 및 내장 복호화에 이용되는 스와핑부를 특별히 제한하지 않는다.
또한, 복호화 기준으로서 이용되는 화소 세트를 특별히 제한하지 않는다.
복호화 정확도 측면에서, 스와핑될 화소가 복호화 기준으로서 이용되는 더 많은 화소에 인접하는 것이 바람직하다. 따라서, 도 64에 도시된 예가 가장 바람직하다. 복호화 정확도 측면에서 복호화 기준으로서의 화소의 갯수가 더 많은 것이 바람직하다.
하지만, 복호화 기준으로서 화소를 스와핑하지 않기 때문에, 화소의 갯수가 많을 경우에는 내장될 수 있는 부가 정보의 데이터량이 적어진다. 또한, 복호화 기준으로서 화소의 갯수가 많을 경우에 및 스와핑될 화소가 복호화 기준으로서 더 많은 화소에 인접할 경우에, 암호화의 효과는 약화된다.
따라서, 복호화 정확도, 내장될 부가 정보의 데이터량 및 암호화의 효과를 고려하여, 복호화 기준으로서 이용되는 화소의 갯수 및 화소를 정렬하기 위한 패턴을 내장 부호화 및 내장 복호화 이용에 따라 설정하는 것이 바람직하다.
열이 이에 인접한 열로 스와핑될 경우에 또는 서로 인접한 열이 스와핑될 경우에, 이들의 위치 관계에서는 변함없이 암호화의 효과가 약화된다. 따라서, 이러한 스와핑 패턴 발생을 방지하기 위해서, 각 열이 원래의 위치에 대해서 소정의 거리 또는 그 이상을 갖는 열로 스와핑되는 제한 범위(limitation) 및 서로 인접하는 열이 서로에 대해서 소정의 거리 또는 그 이상을 갖는 열로 스와핑되는 제한 범위와 같은 제한 범위를 설정할 수 있다.
내장-부호화될 이미지가, 예를 들어, R, G 및 B 성분 신호에 상응하는 컬러 이미지이면, 모든 R, G 및 B 성분을 동일한 위치로 스와핑시킬 수 있거나 또는 R, G 및 B 성분 각각을 별도로 스와핑시킬 수 있다. 모든 R, G 및 B 성분을 동일한위치로 스와핑하면, 내장될 수 있는 부가 정보의 데이터량은 R, G 및 B 성분 각각을 별도로 스와핑할 경우 보다 적지만, 내장 복호화에서 복호화 정밀도를 증가시킬 수 있다. R, G 및 B 성분 각각을 별도로 스와핑하면, 내장 복호화에서 복호화 정밀도는 모든 R, G 및 B 성분을 동일한 위치로 스와핑할 경우와 비교해서 저하되지만, 내장될 수 있는 부가 정보의 데이터량을 증가시킬 수 있다.
부가 정보로서 이용되는 정보를 특별히 제한하지 않는다. 예를 들어, 이미지, 음향, 텍스트, 컴퓨터 프로그램, 제어 신호 및 다른 유형의 데이터를 부가 정보로서 이용할 수 있다. 부가 정보로서 이미지 데이터베이스(101)에 저장된 이미지의 부분 및 프레임 메모리(131)에 공급되는 것으로서 다른 부분을 이용함으로써 부가 정보로서 이용되는 이미지 부분을 다른 부분에 내장하여 이미지 압축을 구현한다.
비록, 이러한 실시예에서, 부가 정보를 이미지에 내장시키지만, 부가 정보를 다른 유형의 미디어, 예를 들어, 음향에 내장시킬 수 있다. 즉, 예를 들어, 순차적인 음향 데이터를 적합한 프레임들로 분리하고, 부가 정보에 따른 각 프레임에서의 음향 데이터를 스와핑함으로써 부가 정보를 음향에 내장시킬 수 있다.
비록, 상술한 경우에서, CPU(132 또는 142)가 컴퓨터 프로그램을 실행함으로써 내장 부호화 처리 또는 내장 복호화 처리를 수행하지만, 상술한 처리는 프로세서 전용 하드웨어에 의해 수행될 수 있다.
상술한 내장 부호화/복호화는 광고 정보가 하기의 방식으로 패키지 데이터를 내장-부호화함으로써 사용자 단말(3)에 의한 패키지 데이터의 출력에 따라 사용자에게 보여지는 것을 보증하기 위해 이용될 경우에, 부호화 데이터는 사용자 단말(3)로 제공할 수 있다.
예를 들어, 우선, 멀티미디어 패키지 데이터의 메인 데이터와 각각 쌍을 이루는 서브 데이터인 텍스트 데이터, 이미지 데이터 및 음향 데이터를 멀티미디어 패키지 데이터의 메인 데이터에 내장한다.
특히, 메인 데이터가 이미지 데이터라고 가정하면, (도 65의 실례(A)에 도시된) 메인 데이터인 이미지 데이터의 라인을 서브 데이터에 기초하여 스와핑하여, 그에 따른 도 65의 실례(B)에 도시된 바와 같은 내장-부호화 이미지를 획득한다.
광고 정보를 내장-부호화 이미지에 더 내장함으로써, 최종 내장-부호화 이미지를 획득한다.
특히, 광고 정보에 기초하여 서브 데이터를 메인 데이터에 내장하여 획득된 내장-부호화 이미지의 열을 스와핑함으로써, 도 65의 실례(C)에 도시된 바와 같은 최종 내장-부호화 이미지를 획득한다.
도 65에 도시된 예에서, 메인 데이터로서의 이미지의 라인을 먼저 스와핑함으로써 내장-부호화 이미지를 획득하고, 광고 정보에 기초하여 내장-부호화 이미지의 열을 차후에 스와핑함으로써 최종 내장-부호화 이미지를 획득한다. 하지만, 상술한 바와 같이, 내장 부호화/복호화에서 내장 부호화/복호화는 먼저 또는 차후 라인 및 열 중에서 어떤 유형의 항목을 스와핑하든 영향을 받지 않는다. 따라서, 도 66에 도시된 바와 같이, 부가 정보에 기초하여 메인 데이터 (도 66의 실례(A))로서의 이미지의 열을 스와핑함으로써 내장-부호화 이미지를 획득한 후에 서브 데이터에 기초하여 내장-부호화 이미지 (도 66의 실례(B))의 라인을 스와핑함으로써, 최종 내장-부호화 이미지 (도 66의 실례(C))를 획득한다.
이미지의 열의 서브 데이터에 기초한 스와핑 및 이미지의 라인의 광고 정보에 기초한 스와핑을 수행할 수 있다.
광고 정보를 멀티미디어 패키지 데이터에 내장시키기 위한 방법은 상술한 라인 및 열의 스와핑에 제한되지 않는다.
상술한 바와 같이 내장-부호화 이미지로서 부호화 데이터가 패키지 서버(1)로부터 사용자 단말(3)로 제공되면, 사용자 단말(3)는 부가 정보가 멀티미디어 패키지 데이터의 출력에 따라 사용자에게 보여지는 것을 보증할 수 있다.
멀티미디어 패키지 데이터의 메인 데이터가 텍스트 데이터이면, 통상적으로 메인 데이터가 이미지 데이터 또는 음향 데이터일 경우와 비교해서 단지 소량의 정보만을 메인 데이터에 내장할 수 있다. 따라서, 이러한 실시예에서, 메인 데이터가 이미지 데이터 또는 음향 데이터일 경우에만, 광고 정보를 내장시킨다. 그럼에도 불구하고, 메인 데이터가 텍스트 데이터일 경우에, 광고 정보를 내장시킬 수 있다.
도 67은 패키지 서버(1)가 멀티미디어 패키지 데이터를 내장-부호화함으로써 획득된 부호화 데이터를 제공할 경우의 사용자 단말(3)의 구성도를 도시한다. 도 67에서, 도 18에 도시된 블록에 상응하는 블록을 동일한 참조 번호로 나타내고, 블록의 설명을 필요하다면 하기에서 생략한다. 사용자 단말(3)는 제1 복호화부(54) 및 제2 복호화부(55)가 새롭게 제공되는 것을 제외하고는, 도 18에 도시된 구조와기본적으로 동일하다.
이러한 예에서, 도 65 또는 도 66을 이용하여 설명한 바와 같이, 서브 데이터 및 광고 정보가 메인 데이터에 별도로 내장되어 있는 부호화 데이터의 형태로 이루어진 멀티미디어 패키지 데이터가 패키지 서버(1)로부터 제공된다고 가정한다.
제1 복호화부(54)는 내장 부호화를 수행함으로써 획득된 멀티미디어 패키지 데이터로서 부호화 데이터에 대하여 내장 복호화 처리를 수행한다. 내장-복호화된 결과는 제2 복호화부(55)로 출력되고, 제1 복호화부(54)에 의해 표시부(51) 또는 스피커(53)로 공급된다. 제2 복호화부(55)는 제 1 복호화부(54)로부터의 출력에 대하여 내장 복호화 처리를 수행한다. 내장-복호화된 결과가 선택 지시 검출부(45)로 출력되고, 제2 복호화부(55)에 의해 표시부(51) 또는 스피커(53)로 공급된다.
다음에, 도 68 및 도 69에 도시된 흐름도를 참조하여, 도 67에 도시된 사용자 단말(3)의 처리를 하기에서 설명한다.
도 68에 도시된 바와 같이, 사용자 단말(3)는 단계 S31 내지 단계 S43와 기본적으로 동일한 단계 S211 내지 단계 S223를 각각 수행한다.
하지만, 이러한 처리에서, 패키지 서버(1)로부터 제공된 멀티미디어 패키지 데이터는 내장 부호화를 수행함으로써 획득된 부호화 데이터의 형태를 기본적으로 갖는다. 따라서, 단계 S222에서, 부호화 데이터가 저장부(52)에 저장된다. 메인 데이터 및 서브 데이터가 출력될 경우에, 부호화 데이터 형태는 단계 S223에서 메인 데이터 출력을 불가능하게 하고, 단계 S217에서 서브 데이터 출력을 불가능하게하기 때문에, 도 67에 도시된 사용자 단말(3)은 도 68에 도시된 흐름도에 따른 처리와 병행하면서 메인 데이터 및 서브 데이터를 획득하기 위해 도 69에 도시된 흐름도에 따른 멀티미디어 패키지 데이터의 복호화를 수행한다.
단계 S231에서, 데이터 검색부(44)가 패키지 서버(1)로부터 다운로드되고, 필요하다면 저장부(52)에 저장되어 있는 멀티미디어 패키지 데이터 (부호화 데이터)를 검색하고, 단계 S232를 진행한다. 단계 S232에서, 데이터 검색부(44)는 멀티미디어 패키지 데이터의 메인 데이터가 이미지 데이터 또는 음향 데이터 중 어느 것인지를 판단한다. 단계 S232에서, 데이터 검색부(44)는 메인 데이터가 이미지 데이터 및 음향 데이터 중 어느 것도 아니라고 판단하였을 경우에, 즉, 메인 데이터가 텍스트 데이터일 경우에, 데이터 검색부(44)는 단계 S231로 복귀한다.
메인 데이터가 텍스트 데이터일 경우에, 이러한 실시예에서, 메인 데이터를 갖는 멀티미디어 패키지 데이터를 상술한 바와 같이 내장-부호화하지 않는다. 따라서, 메인 데이터 및 서브 데이터를 즉시 출력할 수 있기 때문에, 데이터 검색부(44)가 특별한 처리를 수행하지 않고 단계 S231로 복귀한다.
예를 들어, 정보를 멀티미디어 패키지 데이터에서의 헤더에 내장시키지 않는다고 가정하고, 헤더가 멀티미디어 패키지 데이터 포맷의 유형을 나타낸다고 가정한다. 따라서, 단계 S232에서의 판단은 멀티미디어 패키지 데이터의 헤더를 참조함으로써 수행할 수 있다.
단계 S232에서, 데이터 검색부(44)는 메인 데이터가 이미지 데이터 및 음향 데이터 중 어느 하나라고 판단하였을 경우에, 즉, 멀티미디어 패키지 데이터가 내장-부호화 경우에, 내장-부호화 멀티미디어 패키지 데이터로서 부호화 데이터를 제1 복호화부(54)로 공급하고, 처리는 단계 S233를 진행한다.
단계 S233에서, 제1 복호화부(54)는 데이터 검색부(44)로부터의 부호화 데이터에 대해서 내장 부호화 처리를 수행하여 그에 따른 부호화 데이터에 내장된 부가 정보를 재산출하고, 서브 데이터가 내장된 메인 데이터 (이하, "서브 데이터-내장 메인 데이터(subdata-embedded main data)"라 칭함)를 획득한다.
단계 S234에서는, 단계 S233에서 재산출된 광고 정보가 제1 복호화부(54)로부터 공급되고, 표시부(51) 또는 스피커(53)에 의해 출력된다. 특히, 광고 정보가 표시될 수 있는 것일 경우에, 제1 복호화부(54)로부터 공급된 광고 정보를 표시부(51) 상에 표시한다. 광고 정보가 음향의 형태로 출력될 수 있는 것일 경우에, 제1 복호화부(54)로부터 공급된 광고 정보를 스피커(53)로 출력한다.
단계 S233에서 획득된 서브 데이터-내장 메인 데이터를 제1 복호화부(54)로부터 제2 복호화부(55)로 공급한다. 단계 S235에서, 제2 복호화부(55)는 서브 데이터-내장 메인 데이터에 대해서 내장 복호화 처리를 수행하여 그에 따른 서브 데이터-내장 메인 데이터에 내장된 메인 데이터 및 서브 데이터를 재산출한다. 처리는 단계 S231를 진행한다.
상술한 바와 같이 재산출된 메인 데이터를 도 68의 단계 S223에서 출력하고, 서브 데이터를 도 68의 단계 S217에서 출력한다.
따라서, 예를 들어, 서브 데이터 및 광고 정보를 이미지 데이터로서의 메인 데이터에 내장시킨 부호화 데이터를 사용자 단말(3)로 다운로드할 경우에, 부호화데이터 (도 70의 부분(A))를 내장-부호화하여 그에 따른 메인 데이터에 내장된 광고 정보를 도 70의 부분(B)에 도시된 바와 같이 재산출 및 출력한다. 도 70의 부분(C)에 도시된 바와 같이, 서브 데이터-내장 메인 데이터를 내장-부호화하여 메인 데이터 및 메인 데이터에 내장 서브 데이터를 재산출한다.
결론적으로, 메인 데이터와 쌍을 이루는 서브 데이터를 표시할 수 있도록 사용자가 메인 데이터로서의 이미지 데이터 상에서 우측-클릭할 경우에, 광고 정보를 항상 출력한다. 따라서, 사용자가 서브 데이터를 보는 (또는 듣는) 경우에, 사용자가 또한 광고 정보를 보는 (또는 듣는) 것을 보증한다.
광고 정보는 한 쌍의 메인 데이터와 서브 데이터를 갖는 패키지 데이터 이외의 임의의 데이터에 내장될 수 있다.
사용자 단말(3)에 제공되는 부호화 데이터는 내장된 광고 정보를 갖는 상기 패키지 데이터에 한정되지는 않지만, 패키지 데이터를 부호화함으로써 얻어진 데이터의 형태일 수 있어 광고 정보가 복호화 공정에서 얻어질 수 있다.
이러한 실시예에 있어서, 텍스트 데이터, 이미지 데이터 및 사운드 데이터는 멀티미디어 패키지 데이터를 구성하는 매체 데이터로서 사용된다. 또한, 예를 들어 프로그램 등이 사용될 수 있고, 텍스트 데이터, 이미지 데이터, 사운드 데이터 및 매체 데이터의 다른 형태들 중에서 단지 임의의 두 개나 네 개 혹은 그 이상이 사용될 수 있다.
상술한 바와 같이, 본 발명에 따르면, 원하는 미디어 타입을 사용하여 원하는 정보를 얻을 수 있고, 사용자에게 광고와 같은 소정의 정보를 보여줄 수 있다. 본 발명의 통신 장치는, 외부 장치로부터의 요청에 응답하여 원하는 미디어 타입의 데이터를 보낼 수 있기 때문에, 진정한 멀티미디어 데이터베이스 서비스가 가능하다. 또한, 외부 장치로부터 원하는 미디어 타입의 데이터를 얻을 수 있기 때문에, 매우 단순화된 인터페이스를 통해서 진정한 멀티미디어-데이터베이스 서비스가 가능하다. 아울러, 본 발명에 따르면, 소정의 정보가 복호화 시에 재생될 수 있는 부호화 데이터를 갖는 외부 장치를 구비함으로써, 외부 장치는 최종으로 복호화된 결과를 얻을 때 소정의 정보가 표시될 수 있도록 제어될 수 있다. 그러므로, 외부 장치에 의해 표시된 정보는 쉽게 제어될 수 있다.

Claims (82)

  1. 외부 장치에 의해 요청될 때 데이터를 전송하기 위한 통신 장치에 있어서,
    복수 편의 미디어 데이터 중 하나인 메인 데이터, 및 복수 편의 미디어 데이터와 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터로 이루어진 서브 데이터로 각각 구성되는 복수 편의 패키지 데이터를 저장하기 위한 저장부;
    상기 외부 장치로부터의 요청에 응답하여, 상기 저장부에서 소정의 상기 패키지 데이터를 검색하기 위한 검색부;
    상기 검색된 패키지 데이터를 암호화함으로써 생성된 암호화 패키지 데이터를 출력하기 위한 암호화부; 및
    상기 암호화된 패키지 데이터를 상기 외부 장치로 전송하기 위한 통신부
    를 포함하는 통신 장치.
  2. 제1항에 있어서,
    상기 저장부는, 영상 데이터, 음성 데이터, 및 텍스트 데이터 중 하나의 미디어 타입의 데이터인 상기 메인 데이터와, 상기 메인 데이터의 데이터 타입에 대응하는 복수의 영상 데이터, 복수의 음성 데이터, 복수의 텍스트 데이터, 및 URL(uniform resource locator)을 포함하는 서브 데이터로 각각 구성되는 복수 편의 패키지 데이터를 저장하는 통신 장치.
  3. 제2항에 있어서,
    상기 저장부에 저장된 상기 서브 데이터는 상기 복수의 음성 데이터 각각에 대응하는 아이콘 데이터를 더 포함하는 통신 장치.
  4. 제1항에 있어서,
    상기 검색부는 상기 외부 장치로부터 수신된 URL 어드레스에 응답하여 상기 저장부에서 상기 소정의 패키지 데이터를 검색하는 통신 장치.
  5. 제1항에 있어서,
    상기 패키지 데이터를 전송함에 따라, 상기 외부 장치의 사용자에게 할당된 신용 카드 번호를 포함한 개인 정보 및 상기 패키지 데이터에 대응하는 요금 정보를 포함하는 과금 정보를 생성하여 외부 결제 센터로 전송하는 과금 처리부
    를 더 포함하는 통신 장치.
  6. 제1항에 있어서,
    상기 외부 장치의 사용자들에 대한 사용자 정보를 저장하기 위한 사용자 정보 저장부; 및
    상기 저장된 사용자 정보에 기초하여, 상기 저장부에 저장된 상기 패키지 데이터의 서브 데이터 중 하나와, 상기 패키지 데이터에 링크된 상기 서브 데이터의 상기 링크 데이터를 변경하기 위한 변경부
    를 더 포함하는 통신 장치.
  7. 제6항에 있어서,
    상기 사용자 정보 저장부는, 상기 사용자들 각각에 대하여 상기 사용자들에 의해 구입된 패키지 데이터의 편 수를 저장하고; 상기 서브 데이터의 변경부 및 상기 링크 데이터의 변경부를 저장하는 통신 장치.
  8. 제1항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터는 상기 서브 데이터를 상기 메인 데이터에 내장함으로써 형성되는 통신 장치.
  9. 제8항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터는, 상기 메인 데이터의 에너지 분포를 감소시킴으로써 상기 서브 데이터가 상기 메인 데이터에 내장되도록 형성되는 통신 장치.
  10. 제9항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터를 판독하고, 상기 메인 데이터의 상기 에너지 분포를 감소시킴으로써 상기 패키지 데이터의 상기 서브 데이터에 대응하여 상기 메인 데이터에 상기 서브 데이터를 내장하는 내장형 부호화부
    를 더 포함하는 통신 장치.
  11. 제10항에 있어서,
    상기 메인 데이터는 이미지 데이터이고,
    상기 내장형 부호화부는, 이미지 데이터의 상관 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하는 통신 장치.
  12. 제10항에 있어서,
    상기 내장형 부호화부는, 이미지 데이터의 연속 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하는 통신 장치.
  13. 제10항에 있어서,
    상기 내장형 부호화부는, 이미지 데이터의 유사 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하는 통신 장치.
  14. 외부 장치로부터 데이터를 수신하기 위한 통신 장치에 있어서,
    사용자의 지시에 응답하여, 복수의 미디어 데이터 중의 하나인 메인 데이터와, 복수 편의 미디어 데이터 및 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터로 이루어진 서브 데이터로 구성되는, 상기 외부 장치로부터의 패키지 데이터를 요청하기 위한 요청부;
    상기 요청부에 의한 상기 요청에 응답하여, 상기 외부 장치로부터 수신된 상기 패키지 데이터의 상기 메인 데이터를 출력하기 위한 출력부;
    상기 출력된 메인 데이터에 관한 사용자 지시를 검출하기 위한 사용자 지시 검출부; 및
    상기 사용자 지시가 상기 사용자 지시 검출부에 의해 검출되는 경우에, 상기 출력된 메인 데이터에 대응하는 상기 서브 데이터를 출력하기 위한 출력 제어부
    를 포함하되,
    상기 사용자 지시 검출부는 상기 서브 데이터의 일부에 관한 사용자 지시를 검출하고,
    상기 요청부는 상기 서브 데이터의 일부에 대응하는 링크 데이터에 기초하여 상기 외부 장치로부터의 새로운 패키지 데이터를 요청하는 통신 장치.
  15. 제14항에 있어서,
    상기 패키지 데이터는:
    영상 데이터, 음성 데이터, 및 텍스트 데이터 중 하나의 미디어 타입의 데이터인 상기 메인 데이터; 및
    상기 메인 데이터의 데이터 타입에 대응하는 복수의 영상 데이터, 복수의 음성 데이터, 복수의 텍스트 데이터, 및 URL 어드레스를 포함하는 상기 서브 데이터
    를 포함하는 통신 장치.
  16. 제15항에 있어서,
    상기 서브 데이터는 상기 복수의 음성 데이터 각각에 대응하는 아이콘 데이터를 더 포함하는 통신 장치.
  17. 제15항에 있어서,
    상기 출력부는 상기 외부 장치로부터 수신된 상기 패키지 데이터의 상기 메인 데이터로서 상기 영상 데이터를 아이콘 이미지의 형태로 출력하고;
    상기 사용자 지시 검출부는 상기 출력부에 의해 출력된 상기 아이콘 이미지에 관련된 상기 사용자에 의해 마우스로 지정됨에 따라서 상기 사용자 지시를 검출하며;
    상기 출력 제어부는 상기 사용자 지시의 상기 검출에 따라서 상기 메인 데이터에 대응하는 상기 서브 데이터를 팝업 메뉴의 형태로 표시하는 통신 장치.
  18. 제16항에 있어서,
    상기 출력부는 상기 외부 장치로부터 수신된 상기 패키지 데이터의 상기 메인 데이터로서 상기 영상 데이터를 아이콘 이미지의 형태로 출력하고;
    상기 사용자 지시 검출부는 상기 출력부에 의해 출력된 상기 아이콘 이미지에 관련된 상기 사용자에 의해 마우스로 지정됨에 따라서 상기 사용자 지시를 검출하며;
    상기 출력 제어부는 상기 사용자 지시의 검출에 따라서 상기 메인 데이터에 대응하는 상기 서브 데이터를 팝업 메뉴의 형태로 표시하고;
    상기 영상 데이터로서는 이미지 아이콘들의 배치가 표시되며;
    상기 음성 데이터로서는 조작부가 복수의 음성 데이터를 선택적으로 재생할 수 있도록 표시하고;
    상기 텍스트 데이터로서는 상기 팝업 메뉴가 복수의 텍스트 데이터에 의해 형성된 항목들을 갖도록 표시되는 통신 장치.
  19. 제14항에 있어서,
    상기 요청부는 상기 사용자 지시에 의해 지정된 상기 서브 데이터의 일부에 대응하는 URL 어드레스를 상기 외부 장치로 전송하는 통신 장치.
  20. 제19항에 있어서,
    상기 패키지 데이터를 저장하기 위한 저장부
    를 더 포함하되,
    상기 요청부는, 상기 저장부에 저장된, 상기 외부 장치로부터의 상기 패키지 데이터를 주기적으로 요청하고, 상기 요청된 패키지 데이터를 갱신하는 통신 장치.
  21. 제20항에 있어서,
    상기 외부 장치를 사용하는 사용자에 대한 사용자 정보를 저장하기 위한 사용자 정보 저장부; 및
    상기 사용자 정보 저장부에 저장된 상기 사용자 정보에 기초하여, 상기 저장부에 저장된 상기 패키지 데이터의 상기 서브 데이터 중 하나와, 상기 패키지 데이터에 링크된 상기 서브 데이터의 상기 링크 데이터를 변경하기 위한 변경부
    를 더 포함하는 통신 장치.
  22. 제21항에 있어서,
    상기 사용자 정보 저장부는, 상기 사용자들 각각에 대하여 상기 사용자에 의해 구입된 패키지 데이터의 편 수를 저장하고; 상기 서브 데이터의 변경부와 상기 링크 데이터의 변경부를 저장하는 통신 장치.
  23. 제14항에 있어서,
    상기 패키지 데이터는 상기 메인 데이터에 상기 서브 데이터를 내장함으로써 형성되는 통신 장치.
  24. 제23항에 있어서,
    상기 패키지 데이터는 상기 메인 데이터의 에너지 분포를 감소시킴으로써 상기 서브 데이터가 상기 메인 데이터에 내장되도록 형성되는 통신 장치.
  25. 제24항에 있어서,
    상기 패키지 데이터는, 상기 메인 데이터의 상관 분포가 감소되도록 소정의 구성부에서 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터가 내장되도록 형성되는 통신 장치.
  26. 제24항에 있어서,
    상기 패키지 데이터는, 상기 메인 데이터의 연속 분포가 감소되도록 소정의 구성부에서 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터가 내장되도록 형성되는 통신 장치.
  27. 제24항에 있어서,
    상기 패키지 데이터는, 상기 메인 데이터의 유사 분포가 감소되도록 소정의 구성부에서 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터가 내장되도록 형성되는통신 장치.
  28. 외부 장치로 데이터를 전송하기 위한 통신 장치에 있어서,
    부호화된 데이터를 복호화할 때 소정의 정보가 재생되도록 부호화함으로써 생성된 복수 편의 부호화 데이터를 저장하기 위한 저장부;
    상기 외부 장치로부터의 요청에 응답하여, 상기 저장부로부터 소정의 부호화 데이터를 검색하기 위한 검색부; 및
    상기 검색된 부호화 데이터를 상기 외부 장치로 전송하기 위한 통신부
    를 포함하는 통신 장치.
  29. 제28항에 있어서,
    상기 저장부에 저장된 상기 부호화 데이터는, 복수 편의 미디어 데이터 중 하나인 메인 데이터와, 복수 편의 미디어 데이터 및 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터로 이루어진 서브 데이터를 포함하는 패키지 데이터를 부호화함으로써 형성되는 통신 장치.
  30. 제29항에 있어서,
    상기 서브 데이터는 상기 메인 데이터에 내장되는 통신 장치.
  31. 제30항에 있어서,
    상기 저장부는, 상기 메인 데이터에 상기 서브 데이터를 내장하고 상기 서브 데이터가 내장된 메인 데이터에 광고 데이터를 더 내장함으로써 얻은 부호화 데이터를 패키지 데이터로서 저장하는 통신 장치.
  32. 제30항에 있어서,
    상기 저장부는, 상기 메인 데이터에 부가 정보를 내장하고 상기 광고 정보가 내장된 메인 데이터에 상기 서브 데이터를 더 내장함으로써 얻은 부호화 데이터를 패키지 데이터로서 저장하는 통신 장치.
  33. 제30항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터는, 상기 메인 데이터의 에너지 분포를 감소시킴으로써 상기 서브 데이터가 상기 메인 데이터에 내장되도록 형성되는 통신 장치.
  34. 제33항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터를 판독하고, 상기 메인 데이터의 상기 에너지 분포를 감소시킴으로써 상기 패키지 데이터의 상기 서브 데이터에 대응하여 상기 메인 데이터에 상기 서브 데이터를 내장하는 내장형 부호화부
    를 더 포함하는 통신 장치.
  35. 제34항에 있어서,
    상기 메인 데이터는 이미지 데이터이고,
    상기 내장형 부호화부는, 이미지 데이터의 상관 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하는 통신 장치.
  36. 제31항에 있어서,
    상기 메인 데이터는 이미지 데이터이고,
    상기 내장형 부호화부는, 이미지 데이터의 상관 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하는 통신 장치.
  37. 제36항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터를 판독하고, 상기 메인 데이터의 에너지 분포를 감소시킴으로써 상기 패키지 데이터의 상기 서브 데이터에 대응하여 상기 메인 데이터에 상기 서브 데이터를 내장하는 내장형 부호화부
    를 더 포함하는 통신 장치.
  38. 제37항에 있어서,
    상기 내장형 부호화부는, 이미지 데이터의 상관 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하고, 상기 소정의 구성부와 다른 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 광고 정보에 대응하여 상기 광고 정보를 더 내장하는 통신 장치.
  39. 제32항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터는, 상기 메인 데이터의 에너지 분포를 감소시킴으로써 상기 메인 데이터에 상기 서브 데이터가 내장되도록 형성되는 통신 장치.
  40. 제39항에 있어서,
    상기 저장부에 저장된 상기 패키지 데이터를 판독하고, 상기 메인 데이터의 상기 에너지 분포를 감소시킴으로써 상기 패키지 데이터의 상기 서브 데이터에 대응하여 상기 메인 데이터에 상기 서브 데이터를 내장하는 내장형 부호화부
    를 더 포함하는 통신 장치.
  41. 제40항에 있어서,
    상기 내장형 부호화부는, 이미지 데이터의 상관 분포가 감소되도록 소정의구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 광고 정보를 내장하고, 상기 소정의 구성부와 다른 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 서브 데이터를 더 내장하는 통신 장치.
  42. 제34항에 있어서,
    상기 내장형 부호화부는, 이미지 데이터의 연속 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하는 통신 장치.
  43. 제34항에 있어서,
    상기 내장형 부호화부는, 이미지 데이터의 유사 분포가 감소되도록 소정의 구성부에서 상기 이미지 데이터를 스와핑함으로써 상기 서브 데이터에 대응하여 상기 메인 데이터로서의 상기 이미지 데이터에 상기 서브 데이터를 내장하는 통신 장치.
  44. 제29항에 있어서,
    상기 저장부는, 영상 데이터, 음성 데이터, 및 텍스트 데이터 중 하나의 미디어 타입의 데이터인 상기 메인 데이터와, 상기 메인 데이터의 데이터 타입에 대응하는 복수의 영상 데이터, 복수의 음성 데이터, 복수의 텍스트 데이터, 및 URL 어드레스를 포함하는 상기 서브 데이터로 각각 구성되는 복수 편의 패키지 데이터를 저장하는 통신 장치.
  45. 제44항에 있어서,
    상기 저장부에 저장된 서브 데이터는 상기 복수의 음성 데이터 각각에 대응하는 아이콘 데이터를 더 포함하는 통신 장치.
  46. 제29항에 있어서,
    상기 검색부는 상기 외부 장치로부터 수신된 URL 어드레스에 응하여 상기 저장부에서 상기 소정의 패키지 데이터를 검색하는 통신 장치.
  47. 제29항에 있어서,
    상기 패키지 데이터의 전송에 따라서, 상기 외부 장치의 사용자에게 할당된 신용 카드 번호를 포함하는 개인 정보와 상기 패키지 데이터에 대응하는 요금 정보를 포함하는 과금 정보를 생성하여 외부 결제 센터로 전송하는 과금 처리부
    를 더 포함하는 통신 장치.
  48. 제29항에 있어서,
    상기 외부 장치의 사용자들에 대한 사용자 정보를 저장하기 위한 사용자 정보 저장부; 및
    상기 저장된 사용자 정보에 기초하여, 상기 저장부에 저장된 상기 패키지 데이터의 상기 서브 데이터 중 하나와 상기 패키지 데이터에 링크된 상기 서브 데이터의 상기 링크 데이터를 변경하기 위한 변경부
    를 더 포함하는 통신 장치.
  49. 제48항에 있어서,
    상기 사용자 정보 저장부는 상기 사용자들 각각에 대하여 상기 사용자들에 의해 구입된 패키지 데이터의 편 수를 저장하고; 상기 서브 데이터의 변경부 및 상기 링크 데이터의 변경부를 저장하는 통신 장치.
  50. 외부 장치로부터 데이터를 수신하기 위한 통신 장치에 있어서,
    부호화된 데이터를 복호화할 때 소정의 정보가 재생되도록 부호화함으로써 생성된, 상기 외부 장치로부터의 부호화 데이터를 요청하기 위한 요청부;
    상기 요청된 부호화 데이터를 수신하고 복호화하기 위한 복호화부; 및
    상기 소정의 정보와, 상기 부호화 데이터를 최종으로 복호화함으로써 생성된 복호화 데이터를 모두 출력하는 출력부
    를 포함하는 통신 장치.
  51. 제50항에 있어서,
    상기 요청부로부터의 요청에 따라서 수신된 상기 부호화 데이터는, 복수 편의 미디어 데이터 중 하나인 메인 데이터와, 복수 편의 미디어 데이터 및 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터로 이루어진 서브 데이터를 포함하는 패키지 데이터를 부호화함으로써 형성되는 통신 장치.
  52. 제51항에 있어서,
    상기 출력된 메인 데이터에 관한 사용자 지시를 검출하기 위한 사용자 지시 검출부; 및
    상기 사용자 지시가 상기 사용자 지시 검출부에 의해 검출되는 경우에, 상기 출력된 메인 데이터에 대응하는 상기 서브 데이터를 출력하기 위한 출력 제어부
    를 더 포함하되,
    상기 사용자 지시 검출부는 상기 서브 데이터의 일부에 관한 사용자 지시를 검출하고,
    상기 요청부는 상기 서브 데이터의 일부에 관한 링크 데이터에 기초하여 상기 외부 장치로부터의 새로운 패키지 데이터를 요청하는 통신 장치.
  53. 제52항에 있어서,
    상기 부호화 데이터는 상기 메인 데이터에 상기 서브 데이터를 내장함으로써 상기 패키지 데이터가 부호화되도록 형성되는 통신 장치.
  54. 제53항에 있어서,
    상기 복호화부는 상기 부호화 데이터를 복호화하여 상기 소정의 정보 및 상기 서브 데이터가 상기 메인 데이터에 내장된 중간 데이터를 재생하고, 이어서 상기 중간 데이터를 복호화하여 상기 메인 데이터와 상기 서브 데이터를 재생하는 통신 장치.
  55. 제54항에 있어서,
    상기 복호화부는, 상기 사용자 지시에 따라서, 상기 중간 데이터를 복호화하여 상기 메인 데이터와 상기 서브 데이터를 재생하는 통신 장치.
  56. 제53항에 있어서,
    상기 복호화부는 상기 부호화 데이터를 복호화하여 상기 서브 데이터가 상기 소정의 정보에 내장된 중간 데이터를 재생하고, 상기 중간 데이터를 복호화하여 상기 서브 데이터와 상기 소정의 정보를 재생하는 통신 장치.
  57. 제54항에 있어서,
    상기 소정의 정보는 광고 정보인 통신 장치.
  58. 제56항에 있어서,
    상기 소정의 정보는 광고 정보인 통신 장치.
  59. 제54항에 있어서,
    상기 복호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭을 스와핑함으로써 상기 기준 블럭과 각각의 주변 화소들 간의 상관에 따라서 상기 부호화 데이터를 복호하여 중간 데이터를 재생하고, 상기 스와핑 위치에 따라서 복호화하여 상기 부호화 데이터에 내장된 상기 소정의 정보를 재생하는 통신 장치.
  60. 제59항에 있어서,
    상기 복호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭을 스와핑함으로써 상기 기준 블럭과 각각의 주변 화소들 간의 상관에 따라서 상기 중간 데이터를 복호화하여 상기 메인 데이터를 재생하고, 상기 스와핑 위치에 따라서 복호화하여 상기 부호화 데이터에 내장된 상기 서브 데이터를 재생하는 통신 장치.
  61. 제56항에 있어서,
    상기 부호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭을 스와핑함으로써 상기 기준 블럭과 각각의 주변 화소들 간의 상관에 따라서 상기 부호화 데이터를 복호하여 중간 데이터를 재생하고, 상기 스와핑 위치에 따라서 복호화하여 상기 부호화 데이터에 내장된 상기메인 데이터를 재생하는 통신 장치.
  62. 제61항에 있어서,
    상기 복호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭을 스와핑함으로써 상기 기준 블럭과 각각의 주변 화소 간의 상관에 따라서 상기 중간 데이터를 복호하여 상기 소정의 정보를 재생하고, 상기 스와핑 위치에 따라서 복호화하여 상기 부호화 데이터에 내장된 상기 서브 데이터를 재생하는 통신 장치.
  63. 제54항에 있어서,
    상기 복호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭 간의 연속성에 따라서 상기 부호화 데이터를 복호화하여 상기 중간 데이터를 재생하고, 상기 부호화 데이터에 내장된 상기 소정의 정보를 재생하는 통신 장치.
  64. 제54항에 있어서,
    상기 복호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭 간의 유사성에 따라서 상기 부호화 데이터를 복호화하여 상기 중간 데이터를 재생하고, 상기 부호화 데이터에 내장된 상기 소정의 정보를 재생하는 통신 장치.
  65. 제56항에 있어서,
    상기 복호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭 간의 연속성에 따라서 상기 부호화 데이터를 복호화하여 상기 중간 데이터를 재생하고, 상기 부호화 데이터에 내장된 상기 메인 데이터를 재생하는 통신 장치.
  66. 제56항에 있어서,
    상기 복호화부는, 상기 부호화 데이터로서의 상기 이미지 데이터의 적어도 하나의 화소에 의해 형성된 기준 블럭 간의 유사성에 따라서 상기 부호화 데이터를 복호화하여 상기 중간 데이터를 재생하고, 상기 부호화 데이터에 내장된 상기 메인 데이터를 재생하는 통신 장치.
  67. 제52항에 있어서,
    상기 패키지 데이터는:
    영상 데이터, 음성 데이터, 및 텍스트 데이터 중 하나의 미디어 타입의 데이터인 상기 메인 데이터; 및
    상기 메인 데이터의 데이터 타입에 대응하는 복수의 영상 데이터, 복수의 음성 데이터, 복수의 텍스트 데이터, 및 URL 어드레스를 포함하는 상기 서브 데이터
    를 포함하는 통신 장치.
  68. 제53항에 있어서,
    상기 서브 데이터는 상기 복수의 음성 데이터 각각에 대응하는 아이콘 데이터를 더 포함하는 통신 장치.
  69. 제53항에 있어서,
    상기 출력부는 상기 외부 장치로부터 수신된 상기 패키지 데이터의 상기 메인 데이터로서 상기 영상 데이터를 아이콘 이미지의 형태로 출력하고;
    상기 사용자 지시 검출부는 상기 출력부에 의해 출력된 상기 아이콘 이미지에 관련된 상기 사용자에 의해 마우스로 지정됨에 따라서 상기 사용자 지시를 검출하며;
    상기 출력 제어부는 상기 사용자 지시의 검출에 따라서 상기 메인 데이터에 대응하는 상기 서브 데이터를 팝업 메뉴의 형태로 표시하는 통신 장치.
  70. 제69항에 있어서,
    상기 출력부는 상기 외부 장치로부터 수신된 상기 패키지 데이터의 상기 메인 데이터로서 상기 영상 데이터를 아이콘 이미지의 형태로 출력하고;
    상기 사용자 지시 검출부는 상기 출력부에 의해 출력된 상기 아이콘 이미지에 관련된 상기 사용자에 의해 마우스로 지정됨에 따라서 상기 사용자 지시를 검출하며;
    상기 출력 제어부는 상기 사용자 지시의 검출에 따라서 상기 메인 데이터에 대응하는 상기 서브 데이터를 팝업 메뉴의 형태로 표시하고;
    상기 영상 데이터로서는 아이콘 이미지들의 배치가 표시되며;
    상기 음성 데이터로서는 조작부가 복수의 음성 데이터를 선택적으로 재생할 수 있도록 표시되고;
    상기 텍스트 데이터로서는 팝업 메뉴가 복수의 텍스트 데이터에 의해 형성된 항목을 갖도록 표시되는 통신 장치.
  71. 제52항에 있어서,
    상기 요청부는 상기 사용자 지시에 의해 지정된 상기 서브 데이터의 일부에 대응하는 URL 주소를 상기 외부 장치로 전송하는 통신 장치.
  72. 제71항에 있어서,
    상기 패키지 데이터를 저장하기 위한 저장부
    를 더 포함하되,
    상기 요청부는, 상기 저장부에 저장된, 상기 외부 장치로부터의 상기 패키지 데이터를 주기적으로 요청하고, 상기 요청된 패키지 데이터를 갱신하는 통신 장치.
  73. 제72항에 있어서,
    상기 외부 장치를 사용하는 사용자에 대한 사용자 정보를 저장하기 위한 사용자 정보 저장부; 및
    상기 사용자 정보 저장부에 저장된 상기 사용자 정보에 기초하여, 상기 저장부에 저장된 상기 패키지 데이터의 상기 서브 데이터 중 하나와, 상기 패키지 데이터에 링크된 상기 서브 데이터의 상기 링크 데이터를 변경하기 위한 변경부
    를 더 포함하는 통신 장치.
  74. 제73항에 있어서,
    상기 사용자 정보 저장부는 상기 사용자들 각각에 대하여 상기 사용자들에 의해 구입된 패키지 데이터의 편 수를 저장하고; 상기 서브 데이터의 변경부 및 상기 링크 데이터의 변경부를 저장하는 통신 장치.
  75. 외부 장치에 의해 요청된 때에 데이터를 전송하기 위한 통신 방법에 있어서,
    상기 외부 장치로부터의 요청에 응답하여, 복수 편의 미디어 데이터 중의 하나를 포함하는 메인 데이터와, 복수 편의 미디어 데이터와 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터를 포함하는 서브 데이터로 구성되는 소정의 패키지 데이터를 저장부에서 검색하는 단계;
    상기 검색된 패키지 데이터를 암호화하는 단계; 및
    상기 암호화된 패키지 데이터를 상기 외부 장치로 전송하는 단계
    를 포함하는 통신 방법.
  76. 외부 장치에 의해 요청된 때에 데이터를 전송하기 위한 프로그램을 저장하는 저장 매체에 있어서,
    상기 프로그램은:
    상기 외부 장치로부터의 요청에 응답하여, 복수 편의 미디어 데이터 중의 하나를 포함하는 메인 데이터와, 복수 편의 미디어 데이터와 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터를 포함하는 서브 데이터로 구성되는 소정의 패키지 데이터를 저장부에서 검색하는 단계;
    상기 검색된 패키지 데이터를 암호화하는 단계; 및
    상기 암호화된 패키지 데이터를 상기 외부 장치로 전송하는 단계
    를 포함하는 저장 매체.
  77. 외부 장치로부터 데이터를 수신하기 위한 통신 방법에 있어서,
    사용자 지시에 응답하여, 복수 편의 미디어 데이터 중의 하나인 메인 데이터와, 복수 편의 미디어 데이터 및 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터로 이루어진 서브 데이터로 구성된, 상기 외부 장치로부터의 패키지 데이터를 요청하는 단계;
    상기 요청 단계의 상기 요청에 응답하여, 상기 외부 장치로부터 수신된 상기 패키지 데이터의 상기 메인 데이터를 출력하는 단계;
    상기 출력된 메인 데이터에 관한 사용자 지시를 검출하는 단계; 및
    상기 사용자 지시가 검출된 경우에, 상기 출력된 메인 데이터에 대응하는 서브 데이터를 출력하는 단계
    를 포함하되,
    상기 서브 데이터의 일부에 대한 사용자 지시가 검출되는 경우에, 상기 서브 데이터의 일부에 대응하는 링크 데이터에 기초하여, 상기 외부 장치로부터의 새로운 패키지 데이터가 요청되는 통신 방법.
  78. 외부 장치로부터 데이터를 수신하기 위한 프로그램을 저장하는 저장 매체에 있어서,
    상기 프로그램은:
    사용자 지시에 응답하여, 복수 편의 미디어 데이터 중의 하나인 메인 데이터와, 복수 편의 미디어 데이터 및 상기 미디어 데이터에 대응하는 복수 편의 링크 데이터로 이루어진 서브 데이터로 구성된, 상기 외부 장치로부터의 패키지 데이터를 요청하는 단계;
    상기 요청 단계의 상기 요청에 응답하여, 상기 외부 장치로부터 수신된 상기 패키지 데이터의 상기 메인 데이터를 출력하는 단계;
    상기 출력된 메인 데이터에 관한 사용자 지시를 검출하는 단계; 및
    상기 사용자 지시가 검출된 경우에, 상기 출력된 메인 데이터에 대응하는 서브 데이터를 출력하는 단계
    를 포함하되,
    상기 서브 데이터의 일부에 대한 사용자 지시가 검출되는 경우에, 상기 서브데이터의 일부에 대응하는 링크 데이터에 기초하여, 상기 외부 장치로부터의 새로운 패키지 데이터가 요청되는 저장 매체.
  79. 외부 장치로 데이터를 전송하기 위한 통신 방법에 있어서,
    부호화된 데이터를 복호화할 때 소정의 정보가 재생되도록 부호화함으로써 생성된 소정의 부호화 데이터를 상기 외부 장치에 의해 요청된 경우에 저장부에서 검색하는 단계; 및
    상기 검색된 부호화 데이터를 상기 외부 장치로 전송하는 단계
    를 포함하는 통신 방법.
  80. 외부 장치로 데이터를 전송하기 위한 프로그램을 저장하는 저장 매체에 있어서,
    상기 프로그램은:
    부호화된 데이터를 복호화할 때 소정의 정보가 재생되도록 부호화함으로써 생성된 소정의 부호화 데이터를 상기 외부 장치에 의해 요청된 경우에 저장부에서 검색하는 단계; 및
    상기 검색된 부호화 데이터를 상기 외부 장치로 전송하는 단계
    를 포함하는 저장 매체.
  81. 외부 장치로부터 데이터를 수신하기 위한 통신 방법에 있어서,
    부호화된 데이터를 복호화할 때 소정의 정보가 재생되도록 부호화함으로써 생성된, 상기 외부 장치로부터의 부호화 데이터를 요청하는 단계;
    상기 요청된 부호화 데이터를 수신하고 복호화하는 단계; 및
    상기 소정의 정보 및 상기 부호화 데이터를 최종으로 부호화함으로써 생성된 복호화 데이터를 모두 출력하는 단계
    를 포함하는 통신 방법.
  82. 외부 장치로부터 데이터를 수신하기 위한 프로그램을 저장하는 저장 매체에 있어서,
    상기 프로그램은:
    부호화된 데이터를 복호화할 때 소정의 정보가 재생되도록 부호화함으로써 생성된, 상기 외부 장치로부터의 부호화 데이터를 요청하는 단계;
    상기 요청된 부호화 데이터를 수신하고 복호화하는 단계; 및
    상기 소정의 정보 및 상기 부호화 데이터를 최종으로 부호화함으로써 생성된 복호화 데이터를 모두 출력하는 단계
    를 포함하는 저장 매체.
KR1020010027367A 2000-05-19 2001-05-18 통신 장치, 통신 방법, 및 이에 사용되는 저장 매체 KR100922932B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000-148552 2000-05-19
JP2000148552A JP4626784B2 (ja) 2000-05-19 2000-05-19 通信装置および通信方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
KR20010105286A true KR20010105286A (ko) 2001-11-28
KR100922932B1 KR100922932B1 (ko) 2009-10-22

Family

ID=18654562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010027367A KR100922932B1 (ko) 2000-05-19 2001-05-18 통신 장치, 통신 방법, 및 이에 사용되는 저장 매체

Country Status (7)

Country Link
US (2) US7406712B2 (ko)
EP (1) EP1156404A3 (ko)
JP (1) JP4626784B2 (ko)
KR (1) KR100922932B1 (ko)
CN (1) CN1194317C (ko)
MY (1) MY138076A (ko)
TW (1) TW522296B (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094949B1 (en) 1994-10-21 2012-01-10 Digimarc Corporation Music methods and systems
US7224819B2 (en) 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US6763123B2 (en) 1995-05-08 2004-07-13 Digimarc Corporation Detection of out-of-phase low visibility watermarks
US6721440B2 (en) 1995-05-08 2004-04-13 Digimarc Corporation Low visibility watermarks using an out-of-phase color
US6718046B2 (en) 1995-05-08 2004-04-06 Digimarc Corporation Low visibility watermark using time decay fluorescence
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US8379908B2 (en) 1995-07-27 2013-02-19 Digimarc Corporation Embedding and reading codes on objects
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US7953824B2 (en) 1998-08-06 2011-05-31 Digimarc Corporation Image sensors worn or attached on humans for imagery identification
US7373513B2 (en) * 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
US7532740B2 (en) * 1998-09-25 2009-05-12 Digimarc Corporation Method and apparatus for embedding auxiliary information within original data
US8095796B2 (en) * 1999-05-19 2012-01-10 Digimarc Corporation Content identifiers
US7302574B2 (en) * 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US6891959B2 (en) * 2000-04-19 2005-05-10 Digimarc Corporation Hiding information out-of-phase in color channels
US7738673B2 (en) 2000-04-19 2010-06-15 Digimarc Corporation Low visible digital watermarks
US8027509B2 (en) 2000-04-19 2011-09-27 Digimarc Corporation Digital watermarking in data representing color channels
US6804377B2 (en) 2000-04-19 2004-10-12 Digimarc Corporation Detecting information hidden out-of-phase in color channels
JP2002135246A (ja) * 2000-07-18 2002-05-10 Ns Solutions Corp エンコード装置、デコード装置、データ処理装置、ネットワークシステム、データ処理方法、記録媒体、及びプログラム
WO2002039714A2 (en) * 2000-11-08 2002-05-16 Digimarc Corporation Content authentication and recovery using digital watermarks
WO2002051063A1 (en) 2000-12-21 2002-06-27 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US6965683B2 (en) 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
US7046819B2 (en) * 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
US20020169721A1 (en) * 2001-05-10 2002-11-14 Cooley William Ray Digital watermarking apparatus, systems and methods
US20020169963A1 (en) * 2001-05-10 2002-11-14 Seder Phillip Andrew Digital watermarking apparatus, systems and methods
US8094869B2 (en) * 2001-07-02 2012-01-10 Digimarc Corporation Fragile and emerging digital watermarks
US7537170B2 (en) * 2001-08-31 2009-05-26 Digimarc Corporation Machine-readable security features for printed objects
US7213757B2 (en) 2001-08-31 2007-05-08 Digimarc Corporation Emerging security features for identification documents
AU2002357259A1 (en) * 2001-12-13 2003-07-09 Digimarc Corporation Reversible watermarking
US7515730B2 (en) * 2001-12-13 2009-04-07 Digimarc Corporation Progressive image quality control using watermarking
US7187780B2 (en) * 2001-12-13 2007-03-06 Digimarc Corporation Image processing methods using reversible watermarking
US8059815B2 (en) * 2001-12-13 2011-11-15 Digimarc Corporation Transforming data files into logical storage units for auxiliary data through reversible watermarks
US7006662B2 (en) * 2001-12-13 2006-02-28 Digimarc Corporation Reversible watermarking using expansion, rate control and iterative embedding
WO2003052680A1 (en) * 2001-12-18 2003-06-26 Digimarc Id System, Llc Multiple image security features for identification documents and methods of making same
US7313375B2 (en) * 2002-05-02 2007-12-25 Lucent Technologies Inc. Follow-me broadcast reception method and system
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
US20040091111A1 (en) * 2002-07-16 2004-05-13 Levy Kenneth L. Digital watermarking and fingerprinting applications
FR2860111A1 (fr) * 2003-09-23 2005-03-25 Orange France Systeme d'acces a un reseau adapte pour la mise en oeuvre d'un procede a signature simplifiee, et serveur pour sa realisation
JP5008822B2 (ja) * 2003-10-27 2012-08-22 パナソニック株式会社 コンテンツ再生制御方法およびコンテンツ再生制御端末
US8127137B2 (en) 2004-03-18 2012-02-28 Digimarc Corporation Watermark payload encryption for media including multiple watermarks
DE102007038763A1 (de) * 2007-08-16 2009-02-19 Siemens Ag Verfahren und Vorrichtung zur Sicherung eines Programms gegen eine Kontrollflussmanipulation und gegen einen fehlerhaften Programmablauf
US9117268B2 (en) * 2008-12-17 2015-08-25 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
US8199969B2 (en) 2008-12-17 2012-06-12 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
JP5269579B2 (ja) * 2008-12-25 2013-08-21 ソニー株式会社 コンテンツ利用管理装置、コンテンツ利用管理方法、およびプログラム
TWI483134B (zh) * 2009-03-17 2015-05-01 Taiwan Familymart Co Ltd 訊息託播系統
EP2234400A1 (en) * 2009-03-23 2010-09-29 Sony Corporation Method and device for providing a multimedia content stream embedding processing information for the content
JP2010287165A (ja) * 2009-06-15 2010-12-24 Dentsu Inc 情報合成装置、情報合成方法、及び情報合成用プログラム
KR101631270B1 (ko) * 2009-06-19 2016-06-16 삼성전자주식회사 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
JP5661313B2 (ja) * 2010-03-30 2015-01-28 キヤノン株式会社 記憶装置
CN102340397A (zh) * 2010-07-29 2012-02-01 富泰华工业（深圳）有限公司 用于文件加解密的系统、加密、解密装置及加解密方法
CN102740137B (zh) * 2012-07-18 2014-09-03 西安科技大学 基于水印的数字电视计时收费及版权保护方法
USD758417S1 (en) * 2013-06-10 2016-06-07 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN104683294B (zh) * 2013-11-27 2019-01-18 阿里巴巴集团控股有限公司 一种数据处理方法和系统
CN104636448B (zh) * 2015-01-23 2018-01-23 广东欧珀移动通信有限公司 一种音乐推荐方法及装置
CN107852443B (zh) 2015-07-21 2020-01-07 索尼公司 信息处理设备、信息处理方法和程序
USD791829S1 (en) * 2015-12-23 2017-07-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD791828S1 (en) * 2015-12-23 2017-07-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP6724547B2 (ja) * 2016-05-25 2020-07-15 株式会社リコー 情報処理装置、情報処理方法及び情報処理プログラム
CN111243128A (zh) * 2018-11-13 2020-06-05 中国电信股份有限公司 实现超声波智能锁的方法、服务器和系统
USD912694S1 (en) 2019-06-01 2021-03-09 Apple Inc. Electronic device with graphical user interface

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659350A (en) * 1992-12-09 1997-08-19 Discovery Communications, Inc. Operations center for a television program packaging and delivery system
JPH10133955A (ja) * 1996-10-29 1998-05-22 Matsushita Electric Ind Co Ltd 可搬型メディア駆動装置とその方法、及び可搬型メディアとネットワークの連携装置とその方法
DE69808080T2 (de) * 1997-06-02 2003-08-07 Sony Electronics Inc Darstellen von internetinformationen und fernsehprogrammen
JP4822304B2 (ja) * 1998-08-06 2011-11-24 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
WO2000011871A1 (en) * 1998-08-23 2000-03-02 Open Entertainment, Inc. Transaction system for transporting media files from content provider sources to home entertainment devices

Also Published As

Publication number Publication date
EP1156404A3 (en) 2008-12-24
KR100922932B1 (ko) 2009-10-22
US20080263667A1 (en) 2008-10-23
US20020040433A1 (en) 2002-04-04
EP1156404A2 (en) 2001-11-21
US7900256B2 (en) 2011-03-01
TW522296B (en) 2003-03-01
JP2001331724A (ja) 2001-11-30
MY138076A (en) 2009-04-30
JP4626784B2 (ja) 2011-02-09
CN1194317C (zh) 2005-03-23
CN1325073A (zh) 2001-12-05
US7406712B2 (en) 2008-07-29

Similar Documents

Publication Publication Date Title
KR100922932B1 (ko) 통신 장치, 통신 방법, 및 이에 사용되는 저장 매체
US11450109B2 (en) Systems and methods for generating bookmark video fingerprint
JP5175908B2 (ja) 情報処理装置及びプログラム
US7711564B2 (en) Connected audio and other media objects
US6370543B2 (en) Display of media previews
US5903892A (en) Indexing of media content on a network
US8121843B2 (en) Fingerprint methods and systems for media signals
US5983176A (en) Evaluation of media content in media files
US6499057B1 (en) System and method for activating uniform network resource locators displayed in a media broadcast
US8655146B2 (en) Collection and concurrent integration of supplemental information related to currently playing media
CN103124968B (zh) 用于后仰式娱乐的内容转换
KR20070087067A (ko) 수집된 미디어 컨텐트와의 유사성들에 따라 광고를전달하는 시스템 및 방법
US11803589B2 (en) Systems, methods, and media for identifying content
US7899705B2 (en) Method, apparatus and system for providing access to product data
US6690831B1 (en) Encoding device and encoding method, decoding device and decoding method, information processing device and information processing method as well as a medium
US6931201B2 (en) Video indexing using high quality sound
KR20100118896A (ko) 콘텐츠 내 객체 정보 및 객체 기반의 응용 콘텐츠를 제공하는 방법 및 장치
WO2009044351A1 (en) Generation of image data summarizing a sequence of video frames
JP4626824B2 (ja) 通信装置および通信方法、並びに記録媒体
JP5271502B2 (ja) 端末装置
JP2006135706A (ja) Ｂｍｌコンテンツ提供システムおよび記録媒体
WO2001001239A2 (en) Apparatus and methods for locating, downloading, storing, and displaying selected network-based program data
JP2005148801A (ja) 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121008

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131004

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141006

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee