KR20050115376A - 데이터 합성 장치 및 데이터 합성 방법 - Google Patents

데이터 합성 장치 및 데이터 합성 방법 Download PDF

Info

Publication number
KR20050115376A
KR20050115376A KR1020057018692A KR20057018692A KR20050115376A KR 20050115376 A KR20050115376 A KR 20050115376A KR 1020057018692 A KR1020057018692 A KR 1020057018692A KR 20057018692 A KR20057018692 A KR 20057018692A KR 20050115376 A KR20050115376 A KR 20050115376A
Authority
KR
South Korea
Prior art keywords
data
timing information
unit
processing
timing
Prior art date
Application number
KR1020057018692A
Other languages
English (en)
Other versions
KR101023453B1 (ko
Inventor
신지 네기시
가즈노리 야스다
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20050115376A publication Critical patent/KR20050115376A/ko
Application granted granted Critical
Publication of KR101023453B1 publication Critical patent/KR101023453B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명은, 타이밍 정보에 맞추어 합성되는 데이터의 변형이나 이동(배치), 생성의 타이밍을 보정하는 것이 가능하며, 타이밍 맞춤을 필요로 하는 화면 구성의 합성이 가능하게 되는 데이터 합성 장치 및 데이터 합성 방법으로서, 데이터 합성 장치(100)는 화면 구성 변화의 타이밍 정보를 타이밍 정보 생성부(108)에서 생성하고, 그래픽스 생성부(103)의 생성 타이밍을 화상 데이터의 변형ㆍ이동 처리부(105)의 처리 타이밍에 맞춤으로써, 타이밍 어긋남이 없는 그래픽스와 화상 데이터를 합성 가능하게 하여, 합성부(107)에서 원하는 합성 데이터를 얻을 수 있다.

Description

데이터 합성 장치 및 데이터 합성 방법 {DATA SYNTHESIS DEVICE AND DATA SYNTHESIS METHOD}
본 발명은 정지(靜止) 화상 데이터, 동화상 데이터, 및 그래픽 데이터 등을 합성하여 화면을 구성하는 TV 방송 수신기, TV 모니터, PC 모니터, 편집 장치, 멀티미디어 데이터 재생 장치 등에 사용하기에 바람직한 데이터 합성 장치와 그 방법에 관한 것이다.
정지 화상 데이터, 동화상 데이터, 및 그래픽 데이터 등을 합성하여 화면을 구성하는 데이터 합성 장치로서는, 예를 들면 비동기로 처리되는 색 데이터, 깊이 데이터, 텍스처 데이터, 그 밖의 데이터를 동기시키는 컴퓨터 그래픽스 시스템(일본국 특개평 9(1997)-6973호 공보 참조), 또는 2차원 그래픽스 이미지 처리 파이프라인에서 복수개의 3차원 이미지를 합성하고, 합성한 이미지를 표시 화면에 최종적으로 렌더링하는 컴퓨터 그래픽스 시스템(일본국 특개 2001-357410호 공보 참조) 등이 알려져 있다.
도 1은 정지 화상 데이터, 동화상 데이터, 및 그래픽 데이터 등을 합성하여 화면을 구성하는, 종래의 데이터 합성 장치의 구성예를 나타낸 블록도이다.
이 데이터 합성 장치(10)는 도 1에 나타낸 바와 같이, 화면 구성 제어부(11), 그래픽스 제어부(12), 그래픽스 생성부(13), 화상 제어부(14), 변형ㆍ이동 처리부(15), 화상 처리부(16), 및 합성부(17)를 가진다.
화면 구성 제어부(11)는 합성 대상인 데이터를 언제, 어떻게 변형(확대ㆍ축소 등)하여, 화면 상의 어디로 이동(배치) 합성할 것인가를 제어한다.
그래픽스 제어부(12)는 그래픽스 생성부(13)를 제어하고, 화면 구성 제어부(11)로부터 지시된 합성 화면에 필요하게 되는 그래픽스를 생성시킨다. 생성된 합성 대상 그래픽스 S13은 합성부(17)에 입력된다.
한편, 화상 제어부(14)는 화상의 변형ㆍ이동 처리부(15)를 제어하고, 화면 구성 제어부(11)로부터 지시된 합성 화면에 맞추어, 입력 화상 데이터 SIM를 변형ㆍ이동시킨다. 변형·이동 처리된 화상 데이터 S15는 화상 처리부(16)에 의해 새로운 처리를 행하는 경우가 있다.
화상 처리부(16)에서는, 예를 들면 화질 향상을 위한 필터 처리나, 화상 포맷의 변환 처리 등이 행해진다. 그리고, 화상 처리부(16)가 존재하지 않는 경우도 있다. 또, 동일하게 그래픽스 생성부(13)의 후단에, 그래픽스 처리부(도시하지 않음)가 배치되는 경우도 있다.
변형ㆍ이동 처리된 화상 데이터 S15는 합성 대상 화상 데이터 S16으로서 합성부(17)에 입력된다.
합성부(17)는 입력된 합성 대상 그래픽스 S13과 합성 대상 화상 데이터 S16을 합성함으로써, 합성 데이터 S17을 출력한다.
예를 들면 TV 모니터나 PC 모니터에서는, 사용자에게 제시하는 메뉴를 그래픽스로 형성하고, 표시해야 할 화상 데이터 상에 중첩시켜 표시한다. 이와 같은 시스템은 OSD(온 스크린 디스플레이)라고도 하고 있다.
또, 디지털 텔레비전 방송과 같이, 화상 데이터와 함께 그래픽스 데이터가 송신되고, 양자를 합성한 화면 구성을 제시하는 서비스에서도, 도 1에 나타낸 바와 같은 데이터 합성 장치가 사용된다.
그런데, 도 1에 나타낸 합성 시스템(10)에서는, 합성 대상 그래픽스 S13과 합성 대상 화상 데이터 S16과의 엄밀한 타이밍 맞춤은 행해지고 있지 않다.
따라서, 종래의 데이터 합성 장치에서는, 합성 대상 데이터의 변형이나 이동(배치)을 포함하고, 특히 변형이나 이동량, 배치 위치가 연속적으로 변화되는 화면 구성을 정확하게 실현할 수 없다고 하는 문제점이 있다.
이 점에 대하여, 도 2 (A)∼도 2 (C) 및 도 3 (A)∼도 3 (C)를 참조하여 상세하게 설명한다.
도 2 (A)∼도 2 (C)는 합성 대상 데이터의 변형이나 이동(배치)을 포함하고, 변형이나 이동량, 배치 위치가 연속적으로 변화되는 화면 구성의 합성예를 나타낸 도면이다. 도 2 (A)가 합성 대상 그래픽스 S13을, 도 2 (B)가 합성 대상 화상 데이터 S16을, 도 2 (C)가 합성 데이터 S17을 나타내고 있다.
도면에 나타낸 바와 같이, 시각 T1에서, 합성 대상 화상 데이터 S16의 변형(축소) 및 이동이 개시되고 있다.
축소 후에 이동되는 화상 데이터에 맞추어 화상 데이터가 존재하지 않는 영역에 유효한 그래픽스가 생성되어 있다.
도 2 (A)∼도 2 (C)의 예에서는, 시간 경과와 함께 화상 데이터 S16, S17은 연속적으로 축소되고, 또한 이동되어 가고, 이에 따라 유효한 그래픽스 영역도 변화되고 있다.
합성 대상 화상 데이터 S16과 합성 대상 그래픽스 S13이 정확한 타이밍에서 합성되는 한, 양자의 영역은 정확하게 대응한다.
그런데, 화상 데이터의 변형ㆍ이동과, 대응하는 그래픽스의 생성 타이밍이 어긋난 경우, 원하는 합성 데이터를 얻을 수 없다.
도 3 (A)∼도 3 (C)는 화상 데이터의 변형ㆍ이동 개시가 1프레임 지연되어 버린 경우의 합성예를 나타낸 도면이다. 도 3 (A)가 합성 대상 그래픽스 S13을, 도 3 (B)가 합성 대상 화상 데이터 S16을, 도 3 (C)가 합성 데이터 S17을 나타내고 있다.
도면에 나타낸 바와 같이, 시각 T1에서 화면 구성의 변경을 개시하고, 그래픽스는 정확한 타이밍에서 생성되어 있다.
도 3 (A)∼도 3 (C)의 예에서는, 합성 대상 화상 데이터의 변형(축소) 및 이동 개시가, 시각 T2로 지연된 예를 나타내고 있다.
시각 T1에서, 합성부(17)에는 화면 구성의 변경이 개시되고 있지 않은 화상 데이터 S16과, 이미 개시하고 있는 그래픽스 S13이 입력되어 버리기 때문에, 모순된 합성 데이터가 출력되어 버린다.
일반적으로, OSD에서는 그래픽스가 화상 데이터의 앞면에 겹쳐 합성되기 때문에, 도 3 (A)∼도 3 (C)에서는 그래픽스를 앞면에 겹친 경우를 나타내고 있지만, 화상 데이터가 그래픽스의 앞면에 겹쳐져 있는 경우에도 동일하게 모순된 합성 데이터로 되어 버린다.
또한, 합성 대상 화상 데이터의 변형(축소) 및 이동 개시의 지연이 이후의 합성 타이밍에 전파되어, 화면 구성의 타이밍이 어긋난 채 계속해서 합성되어 버린다.
이것은 전술한 바와 같이, 화상 데이터, 및 그래픽 데이터 등을 합성하여 화면을 구성하는 종래의 데이터 합성 장치에서는, 합성 대상 그래픽스와 합성 대상 화상 데이터의 엄밀한 타이밍 맞춤이 행해지고 있지 않는 것에 의한다.
특히, 각 제어부(화면 구성 제어부, 화상 제어부, 그래픽스 제어부)가 복수개의 프로세서에 의해 구성되어 있거나, 각 제어부 사이나 제어부와 처리부(변형ㆍ이동 처리부, 그래픽스 생성부) 사이의 통신이 지연을 포함하는 버스에 의해 접속되어 있거나, 통신에 시간이 걸리는 경우에, 화면 구성의 변경 통지가 실제로 변형ㆍ이동 처리부 또는 그래픽스 생성부에 반영될 때까지 지연이 발생하기 쉽다.
또, 각 제어부나 처리부가 소프트웨어에 의해 구성되어 있는 경우에도, 지연이 발생하기 쉽다.
또, 화상 데이터와 그래픽스가 비동기인 경우에, 양자의 타이밍이 어긋나는 것에 의해서도, 어느 하나가 지연된 경우와 동일하게 된다.
따라서, 종래의 데이터 합성 장치에서는, 합성 대상 데이터의 변형이나 이동(배치)을 포함하고, 특히 변형이나 이동량, 배치 위치가 연속적으로 변화되는 타이밍 맞춤을 필요로 하는 화면 구성을 실현하는 것이 곤란하다.
즉, OSD에서는, 합성 대상인 그래픽스와 화상 데이터가 시간적인 관련을 가지지 않는다고 하는 제약이 부과되어 있다.
또, 변형ㆍ이동(배치)된 화상 데이터가 존재하지 않는 영역에 그래픽스를 합성하는 화면 구성에서는, 변형이나 이동량, 배치 위치가 연속적으로 변화되지 않는 화면 구성이라고 하는 제한 하에서 사용하지 않으면 안된다.
후자의 제한 하에서도, 화면 구성이 바뀔 때, 화상 데이터와 그래픽스의 타이밍 어긋남에 의해, 모순된 합성 화상을 표시하여 버린다.
도 1은 종래의 데이터 합성 장치의 구성을 나타낸 블록도이다.
도 2 (A)∼도 2 (C)는 그래픽스와 화상 데이터의 합성 타이밍예를 나타낸 도면이다.
도 3 (A)∼도 3 (C)는 종래의 데이터 합성 장치에서, 합성 타이밍이 어긋난 경우의 문제점을 설명하기 위한 도면이다.
도 4는 본 발명에 관한 데이터 합성 장치의 제1 실시예를 나타낸 블록도이다.
도 5 (A)∼도 5 (D)는 제1 실시예에서, 화상 처리부에서의 지연이 없고, 그래픽스 제어부 및 그래픽스 생성부가, 타이밍 정보에 즉응(卽應)할 수 있는 경우를 설명하기 위한 도면이다.
도 6 (A)∼도 6 (D)는 제1 실시예에서, 그래픽스 제어부 및 그래픽스 생성부가, 타이밍 정보를 반영할 때까지 지연이 필요한 경우를 설명하기 위한 도면이다.
도 7 (A)∼도 7 (D)는 제1 실시예에서, 타이밍 정보에 카운트다운을 도입함으로써, 그래픽스 제어부 및 그래픽스 생성부가 타이밍 정보를 반영할 때까지 지연이 필요한 경우에도, 화면 구성 변화 개시 시로부터 그래픽스와 화상 데이터의 타이밍을 항상 일치시키는 경우를 설명하기 위한 도면이다.
도 8은 본 발명에 관한 데이터 합성 장치의 제2 실시예를 나타낸 블록도이다.
도 9는 본 발명에 관한 데이터 합성 장치의 제3 실시예를 나타낸 블록도이다.
도 10 (A)∼도 10 (E)는 제3 실시예에 있어서의 타이밍 정보와, 합성부에 있어서의 보정 동작에 대하여 설명하기 위한 도면이다.
도 11은 타이밍 정보를 데이터에 중첩하는 경우의, 타이밍 정보 생성으로부터 검출까지의 처리를 설명하기 위한 도면이다.
본 발명의 목적은 타이밍 정보에 맞추어 합성되는 데이터의 변형이나 이동(배치), 생성의 타이밍을 보정하는 것이 가능하며, 타이밍 맞춤을 필요로 하는 화면 구성의 합성이 가능한 데이터 합성 장치 및 데이터 합성 방법을 제공하는 것에 있다.
상기 목적을 달성하기 위해, 본 발명의 제1 관점은, 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 장치로서, 상기 제1 데이터에 대하여 소정의 처리를 행하는 처리부와, 상기 제2 데이터를 생성하는 데이터 생성부와, 상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 합성부와, 상기 합성부에 있어서의, 상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 생성부에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 처리부의 처리 또는 상기 데이터 생성부의 생성 처리의 타이밍 정보를 생성하는 타이밍 정보 생성부와, 상기 처리부 또는 상기 데이터 생성부에, 상기 타이밍 정보 생성부에서 생성된 타이밍 정보에 따라, 처리 또는 생성 타이밍을 보정하여 소정의 처리 또는 데이터 생성을 행하게 하는 제어부를 가진다.
본 발명의 제2 관점은, 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 장치로서, 상기 제1 데이터에 대하여 소정의 처리를 행하는 처리부와, 상기 제2 데이터를 생성하는 데이터 생성부와, 상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 합성부와, 상기 합성부에 있어서의, 상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 생성부에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 처리부의 처리 및 상기 데이터 생성부의 생성 처리 중 적어도 한쪽의 타이밍 정보를 생성하는 타이밍 정보 생성부를 가지며, 상기 합성부는 상기 타이밍 정보 생성부에서 생성된 타이밍 정보에 따라, 동일 타이밍에서 행해지도록 보정하여 합성을 행한다.
바람직하게는, 상기 처리부에 의해 소정의 처리가 행해진 제1 데이터에 대하여, 지연을 포함하는 처리를 행하는 제2 처리부를 추가로 가지며, 상기 타이밍 정보 생성부는 상기 제2 처리부의 해당 지연량을 부가하여, 합성부로의 입력 타이밍을 나타내는 타이밍 정보를 생성한다.
바람직하게는, 상기 타이밍 정보 생성부는 화면 구성의 변화를 개시할 때까지의 카운트다운을 포함하는 타이밍 정보를 생성한다.
또, 바람직하게는, 상기 타이밍 정보 생성부에서 생성된 타이밍 정보를 상기 제1 데이터 또는 제2 데이터에 중첩시키는 중첩 수단을 가지며, 상기 중첩된 타이밍 정보에 따라, 동일 타이밍에서 행해지도록 보정하여 합성을 행한다.
바람직하게는, 상기 중첩 수단은 상기 타이밍 정보를 상기 화상에 관한 제1 데이터 또는 제2 데이터의 공백 기간에 중첩한다.
본 발명의 제3 관점은, 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 방법으로서, 상기 제1 데이터에 대하여 소정의 처리를 행하는 제1 스텝과, 상기 제2 데이터를 생성하는 제2 스텝과, 상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 제3 스텝을 포함하고, 상기 제3 스텝에 있어서의, 상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 제2 스텝에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 제1 스텝의 처리 또는 상기 제2 스텝의 생성 처리의 타이밍 정보를 생성하고, 상기 제1 스텝 또는 상기 제2 스텝에서, 상기 타이밍 정보에 따라, 처리 또는 생성 타이밍을 보정하여 소정의 처리 또는 데이터 생성을 행한다.
본 발명의 제4 관점은, 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 방법으로서, 상기 제1 데이터에 대하여 소정의 처리를 행하는 제1 스텝과, 상기 제2 데이터를 생성하는 제2 스텝과, 상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 제3 스텝을 포함하고, 상기 제3 스텝에 있어서의, 상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 제2 스텝에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 제1 스텝의 처리 및 상기 제2 스텝의 생성 처리 중 적어도 한쪽의 타이밍 정보를 생성하고, 상기 제3 스텝에서, 상기 타이밍 정보에 따라, 동일 타이밍에서 행해지도록 보정하여 합성을 행한다.
본 발명에 의하면, 예를 들면 제1 데이터 또는 제2 데이터로서의 화상 데이터의 변형ㆍ이동 처리부 또는 제2 데이터 또는 제1 데이터로서의 그래픽스 데이터의 생성부가, 화면 구성의 타이밍 정보를 생성하고, 한쪽의 타이밍 정보에 따라 다른 쪽의 변형ㆍ이동 처리 또는 생성 처리의 타이밍을 보정함으로써, 양쪽의 타이밍을 일치시킨다.
또, 본 발명에 의하면, 제1 데이터 또는 제2 데이터로서의 화상 데이터의 변형ㆍ이동 처리부 및/또는 제2 데이터 또는 제1 데이터로서의 그래픽스 데이터의 생성부가, 화면 구성의 타이밍 정보를 생성하고, 양쪽의 타이밍 정보에 따라 대응하는 타이밍의 데이터끼리를 합성함으로써, 양쪽의 타이밍을 일치시킨다.
본 발명에 의하면, 화면 구성의 개시 타이밍이 지연 또는 빨라지거나, 또는 화면 구성의 변화 도중에 타이밍의 어긋남이 발생한 경우에도, 타이밍 정보에 따라, 대응하는 타이밍의 데이터끼리가 합성 출력되도록 보정되기 때문에, 합성 대상 데이터의 변형이나 이동(배치)을 포함하고, 특히 변형이나 이동량, 배치 위치가 연속적으로 변화되는 타이밍 맞춤을 필요로 하는 화면 구성이라도, 원하는 합성 데이터를 얻는 것이 가능해진다.
이하, 본 발명의 실시예를 첨부 도면을 참조하여 설명한다.
<제1 실시예>
도 4는 본 발명에 관한 데이터 합성 장치의 제1 실시예를 나타낸 블록도이다.
이 데이터 합성 장치(100)는 화면 구성 변화의 타이밍 정보를 생성하고, 그래픽스 생성의 타이밍을 제1 데이터 또는 제2 데이터로서의 화상 데이터의 변형ㆍ이동 처리의 타이밍에 맞춤으로써, 타이밍 어긋남이 없는 제2 데이터 또는 제1 데이터로서의 그래픽스와 화상 데이터를 합성 가능하게 하여, 원하는 합성 데이터를 얻는 것이다.
이 데이터 합성 장치(100)는 도 4에 나타낸 바와 같이, 화면 구성 제어부(101), 그래픽스 제어부(102), 그래픽스 생성부(103), 화상 제어부(104), 처리부로서의 변형ㆍ이동 처리부(105), 제2 처리부로서의 화상 처리부(106), 합성부(107), 및 화상 데이터의 타이밍 정보 생성부(108)를 가진다.
화면 구성 제어부(101)는 합성 대상인 데이터를 언제, 어떻게 변형(확대ㆍ축소 등)하여, 화면 상의 어디로 이동(배치) 합성할 것인가를 제어한다.
그래픽스 제어부(102)는 타이밍 정보 생성부(108)에 의한 화면 구성 변화의 타이밍 정보 S108에 따라 화상 데이터와의 타이밍 어긋남의 검지ㆍ보정을 행하고, 화면 구성 제어부(101)로부터 지시된 합성 화면에 필요하게 되는 그래픽스를 타이밍 정보 S108에 따라 보정된 타이밍에 맞추어 생성하도록, 그래픽스 생성부(103)를 제어한다.
그래픽스 생성부(103)는 그래픽스 제어부(102)의 제어 하에, 화면 구성 제어부(101)로부터 지시된 합성 화면에 필요하게 되는 그래픽스를 타이밍 정보 S108에 맞추어 생성하고, 합성 대상 그래픽스 S103으로 합성부(107)에 출력한다.
그리고, 그래픽스 생성부(13)의 후단에, 그래픽스 처리부(도시하지 않음)가 배치되는 경우도 있다.
화상 제어부(104)는 화상의 변형ㆍ이동 처리부(105)를 제어하고, 화면 구성 제어부(101)로부터 지시된 합성 화면에 맞추어, 입력 화상 데이터 SIM을 변형ㆍ이동시킨다.
변형ㆍ이동 처리부(105)는 화상 제어부(104)의 제어 하에, 화면 구성 제어부(101)의 지시에 따른 합성 화면에 맞추어, 입력 화상 데이터 SIM을 변형ㆍ이동시키고, 변형ㆍ이동 처리된 화상 데이터 S105를, 예를 들면 화상 처리부(106)에 출력한다.
화상 처리부(106)는 변형ㆍ이동 처리부 (105)에 의한 변형ㆍ이동 처리된 화상 데이터 S105에 대하여, 예를 들면 화질 향상을 위한 필터 처리나, 화상 포맷의 변환 처리 등을 행하고, 합성 대상 화상 데이터 S106으로 합성부(107)에 출력한다.
그리고, 화상 처리부(106)가 존재하지 않는 경우도 있다. 또, 동일하게 그래픽스 생성부(13)의 후단에, 그래픽스 처리부(도시하지 않음)가 배치되는 경우도 있다.
합성부(107)는 입력된 합성 대상 그래픽스 S103과 합성 대상 화상 데이터 S16을 합성함으로써, 합성 데이터 S107을 출력한다.
타이밍 정보 생성부(108)는 화상 데이터의 변형ㆍ이동 처리부(105)에 형성되고, 화면 구성 변화의 타이밍 정보 S108을 생성하여, 그래픽스 제어부(102)에 출력한다.
타이밍 정보 생성부(108)가 생성하는 타이밍 정보 S108은, 예를 들면 화상 처리부에서의 지연이 없고, 그래픽스 제어부 및 그래픽스 생성부가, 타이밍 정보에 즉응할 수 있는 제1의 경우, 그래픽스 제어부(102) 및 그래픽스 생성부(103)가, 타이밍 정보 S108을 반영할 때까지 지연이 필요한 제2의 경우, 또는 타이밍 정보에 카운트다운을 도입함으로써, 그래픽스 제어부(102) 및 그래픽스 생성부(102)가 타이밍 정보 S108을 반영할 때까지 지연이 필요한 제3의 경우에 따른 타이밍 정보를 생성한다.
이하, 제1의 경우, 제2의 경우, 및 제3의 경우의 타이밍 정보에 따른 제어 동작에 대하여, 도면을 참조하여 순서에 따라 설명한다.
먼저, 도 5 (A)∼도 5 (D)에 관련시켜, 제1의 경우에 있어서의 타이밍 정보에 따른 제어 동작에 대하여 설명한다.
도 5 (A)∼도 5 (D)는 화상 처리부에서의 지연이 없고, 그래픽스 제어부 및 그래픽스 생성부가, 타이밍 정보에 즉응할 수 있는 경우를 설명하기 위한 도면이다.
도 5 (A)가 합성 대상 그래픽스 S103을, 도 5 (B)가 합성 대상 화상 데이터 S106을, 도 5 (C)가 합성 데이터 S107을, 도 5 (D)가 타이밍 정보 S108을 각각 나타내고 있다.
이 경우, 화면 구성 제어부(101)는 시각 T1로부터 화면 구성 변화를 행하도록 제어한다.
그러나, 변형ㆍ이동 처리부(105)에 의한 화상 데이터의 변형ㆍ이동 처리의 개시가 지연되어, 시각 T2로부터 개시되어 있다.
따라서, 시각 T1의 타이밍 정보 S108은 미개시(도 5 (D)의 예에서는 O)를 나타내고 있다.
그래픽스 제어부(102)는 본래, 도 2 (A)∼도 2 (C)에 나타낸 바와 같이, 시각 T1로부터 화면 구성 변화를 개시할 수 있지만, 본 실시예에서는, 타이밍 정보에 따라, 시각 T에서 화면 구성 변화를 개시하지 않는다.
따라서, 시각 T1의 합성 대상 그래픽스 S103과 합성 대상 화상 데이터 S106과의 합성 결과는 도 3 (A)∼도 3 (C)에 나타낸 종래 기술과 같은 화면 구성 상의 모순을 일으키지 않고 합성된다.
시각 T2에서, 변형ㆍ이동 처리부(105)에 의한 화상 데이터의 변형ㆍ이동 처리가 개시되었기 때문에, 시각 T2에서의 타이밍 정보 S108은 개시(도 5 (D)의 예에서는 1)를 나타내고 있다.
그래픽스 제어부 (102)는 타이밍 정보 S108에 따라, 시각 T2에서 화면 구성 변화를 개시한다. 화면 구성 변화의 개시 후에도, 타이밍 정보 S108을 사용함으로써, 도 3 (A)∼도 3 (C)에 나타낸 종래 기술과 같은 화면 구성 상의 모순을 회피하여 합성하는 것이 가능하게 되어 있다.
다음에, 도 6 (A)∼도 6 (D)를 참조하여, 제2 경우에 있어서의 타이밍 정보에 따른 제어 동작에 대하여 설명한다.
도 6 (A)∼도 6 (D)는 그래픽스 제어부(102) 및 그래픽스 생성부(103)가, 타이밍 정보 S108을 반영할 때까지 지연이 필요한 경우를 설명하기 위한 도면이다.
도 6 (A)가 합성 대상 그래픽스 S103을, 도 6 (B)가 합성 대상 화상 데이터 S106을, 도 6 (C)가 합성 데이터 S107을, 도 6 (D)가 타이밍 정보 S108을 각각 나타내고 있다.
이 경우, 전술한 제1 경우와 동일하게, 화면 구성 제어부(101)는 시각 T1로부터 화면 구성 변화를 행하도록 제어하지만, 변형ㆍ이동 처리부 (105)에 의한 화상 데이터의 변형ㆍ이동 처리의 개시가 지연되어, 시각 T2로부터 개시되어 있다.
그래픽스 제어부 (102)는 타이밍 정보 S108을 반영할 때까지 지연이 있기 때문에, 화면 구성 제어부(101)의 지시대로 시각 T1로부터 화면 구성 변화를 개시하고 있다.
따라서, 시각 T1의 합성 대상에 대한 합성 결과는 도 3 (A)∼도 3 (C)의 종래 기술과 동일하게 화면 구성에 모순이 있는 합성 데이터로 된다.
그러나, 시각 T2에서 그래픽스 제어부(102)는 시각 T1에서의 타이밍 정보(115)를 반영하는 것이 가능해진다. 시각 T1에서의 타이밍 정보 S108은 미개시(도 6 (D)의 예에서는 0)를 나타내고 있기 때문에, 화면 구성의 변화를 정지한 그래픽스를 생성한다.
시각 T3에서 그래픽스 제어부(102)는 시각 T2에서의 타이밍 정보 S108을 참조하여, 변형ㆍ이동 처리부(105)에 의한 화상 데이터의 변형ㆍ이동 처리가 시각 T2에서 개시(도 6 (D)의 타이밍 정보예에서는 1)된 것을 알기 때문에, 화면 구성에 모순이 일어나지 않도록, 그래픽스의 화면 구성 변화를 재개한다.
시각 T2 이후는 타이밍 정보 S108을 사용함으로써, 도 3 (A)∼도 3 (C)에 나타낸 종래 기술과 같은 화면 구성 상의 모순을 회피하여 합성하는 것이 가능하게 되어 있다.
그리고, 지연이 발생할 수 있는 측(도 6 (A)∼도 6 (D)의 예에서는 화상 데이터)이 화면 구성 변경 전에 전(全)화면의 영역에 표시되어 있는 경우, 지연이 발생할 수 있는 측을 앞면으로 하여 합성함으로써, 화면 구성 변화 개시 시에 발생할 수 있는 화면 구성의 모순을 합성 데이터에 영향을 주지 않도록 합성하는 것도 가능하다.
다음에, 도 7 (A)∼도 7 (D)에 관련시켜, 제3의 경우에 있어서의 타이밍 정보에 따른 제어 동작에 대하여 설명한다.
도 7 (A)∼도 7 (D)는 타이밍 정보에 카운트다운을 도입함으로써, 그래픽스 제어부(102) 및 그래픽스 생성부(102)가 타이밍 정보(115)를 반영할 때까지 지연이 필요한 경우에도, 화면 구성 변화 개시 시로부터 그래픽스와 화상 데이터의 타이밍을 항상 일치시키는 경우를 설명하기 위한 도면이다.
도 7 (A)가 합성 대상 그래픽스 S103을, 도 7 (B)가 합성 대상 화상 데이터 S106을, 도 7 (C)가 합성 데이터 S107을, 도 7 (D)가 타이밍 정보 S108을 각각 나타내고 있다.
이 경우, 제1 경우와 동일하게 화면 구성 제어부(101)는 시각 T1로부터 화면 구성 변화를 행하도록 제어하지만, 선행하여 시각 T0에 화상 제어부(104)에 통지를 행한다.
도 7 (A)∼도 7 (D)의 예에서는, 변형ㆍ이동 처리부(105)에 의한 화상 데이터의 변형ㆍ이동 개시가 지연되고 있기 때문에, 시각 T0에서의 타이밍 정보 S108은 0인(개시 준비되어 있지 않은) 채이다.
시각 T1에서 그래픽스 제어부(102)는 시각 T0에서의 타이밍 정보를 참조하여, 미개시이기 때문에, 화면 구성 변화를 개시하지 않는다.
화상 데이터의 타이밍 정보 S108은 시각 T1에서 -1(다음의 시각에서 개시하는 것을 나타내는 개시 카운트다운)을 나타낸다. 개시 카운트다운은 화상 데이터의 화면 구성 변화 개시 시각까지의 카운트다운을 나타낸다.
시각 T2에서 그래픽스 제어부(102)는 시각 T1에서의 타이밍 정보 S108을 참조하여, -1(다음의 시각에서 개시하는 것을 나타내는 개시 카운트다운)이기 때문에, 시각 T2로부터의 개시를 사전에 알 수 있다.
따라서, 화상 데이터, 그래픽스 모두 T2로부터 화면 구성 변화를 개시한다. 상기와 같이 타이밍 정보 S108에 카운트다운을 도입함으로써, 화상 데이터의 변형ㆍ이동 개시가 지연되어도, 그래픽스와 화상 데이터의 타이밍을 항상 일치시키는 것이 가능해진다.
도 5 (A)∼도 5 (D), 도 6 (A)∼도 6 (D), 및 도 7 (A)∼도 7 (D)에서는, 화상 처리부(106)에서의 지연이 없는 경우를 설명했다. 데이터 합성 장치(100)가 지연을 포함하는 화상 처리부(106)를 구비하는 경우에는, 타이밍 정보 생성부(108)가 화상 처리부(106)에서의 지연을 부가하여, 합성부(107)에 입력되는 시각에 대응하는 타이밍 정보 S108을 출력하면, 화상 처리부(106)에서의 지연이 없는 경우와 동일하게 본 발명을 적용할 수 있다.
도 5 (A)∼도 5 (D), 도 6 (A)∼도 6 (D), 및 도 7 (A)∼도 7 (D)에서는, 화면 구성 변화의 개시점에서 화상 데이터의 변형ㆍ이동 처리 개시가 지연되는 경우를 설명했지만, 화상 데이터의 변형ㆍ이동 처리 개시가 빠른 경우에도, 동일하게 타이밍 정보 S108을 사용하여 보정하는 것이 가능한 것은 명백하다.
도 5 (A)∼도 5 (D), 도 6 (A)∼도 6 (D), 및 도 7 (A)∼도 7 (D)에서는, 화면 구성 변화의 개시점에서 화상 데이터와 그래픽스의 화면 구성 변화가 어긋나는 경우를 설명했지만, 화면 구성 변화 도중에 어긋남이 생기는 경우에도, 화면 구성의 종료 시에 어긋남이 생기는 경우에도, 동일하게 보정하는 것이 가능한 것은 명백하다.
<제2 실시예>
도 8은 본 발명에 관한 데이터 합성 장치의 제2 실시예를 나타낸 블록도이다.
본 제2 실시예가 전술한 제1 실시예와 상이한 점은 이하의 점에 있다.
즉, 제1 실시예에서는, 화상 데이터의 변형ㆍ이동 처리부(105)가 타이밍 정보 생성부(108)를 구비하고, 타이밍 정보 S108에 따라 그래픽스 제어부(102)가 타이밍 어긋남의 검지ㆍ보정을 행하고 있었다.
이에 대하여, 본 제2 실시예에서는, 반대로 그래픽스 생성부(103A)가 타이밍 정보 생성부(109)를 구비하고, 타이밍 정보 S109에 따라 화상 제어부(104A)가 타이밍 어긋남의 검지ㆍ보정을 행하고, 화상 제어부(104A)가 보정된 타이밍에서 화상 데이터의 변형ㆍ이동 처리를 행하도록 변형ㆍ이동 처리부(105A)를 제어한다.
그 밖의 구성은 전술한 제1 실시예와 동일하다.
도 5 (A)∼도 5 (D), 도 6 (A)∼도 6 (D), 및 도 7 (A)∼도 7 (D)에서의 합성 대상 그래픽스와 합성 대상 화상 데이터의 타이밍을 교체하면, 제1 실시예와 동일하게 타이밍 정보에 따라 화상 제어부(104A)가 타이밍 어긋남의 검지ㆍ보정을 행함으로써, 그래픽스 생성 타이밍 어긋남의 영향을 보정할 수 있는 것은 자명하다.
<제3 실시예>
도 9는 본 발명에 관한 데이터 합성 장치의 제3 실시예를 나타낸 블록도이다.
본 제3 실시예가 전술한 제1 및 제2 실시예와 상이한 점은 이하의 점에 있다.
즉, 제1 및 제2 실시예에서는, 화상 데이터 또는 그래픽스 데이터 중 어느 하나의 타이밍 정보를 생성하고, 합성 대상인 제어부가 타이밍 정보를 참조하여, 변형 이동 처리 또는 그래픽스의 생성 타이밍을 변경함으로써 보정을 행하고 있었다.
이에 대하여, 본 제3 실시예에서의 데이터 합성 장치(100B)에서는, 화상 데이터 및 그래픽스 데이터 양쪽의 타이밍 정보 S108, S109를 생성하여, 합성부(107B)에 입력한다.
그리고, 합성부(107B)는 합성 대상인 타이밍 정보 S108 및 S109를 참조하여, 합성 대상의 타이밍이 일치하도록, 합성 대상의 입력을 프레임 메모리(110)를 사용하여 지연시켜 합성한다.
다음에, 도 10 (A)∼도 10 (E)에 관련시켜, 제3 실시예에서의 타이밍 정보와, 합성부에 있어서의 보정 동작에 대하여 설명한다.
도 10 (A)가 합성 대상 그래픽스 S103을, 도 10 (B)가 합성 대상 화상 데이터 S106을, 도 10 (C)가 합성 데이터 S107을, 도 10 (D)가 그래픽스의 타이밍 정보 S109를, 도 10 (E)가 화상 데이터의 타이밍 정보 S108을 각각 나타내고 있다.
이 화면 구성 제어부(101)는 시각 T1로부터 화면 구성 변화를 행하도록 제어한다. 그래픽스는 시각 T1로부터 화면 구성 변화를 개시했기 때문에, 시각 T1에서의 그래픽스의 타이밍 정보 S109는 개시(도 10 (D)의 예에서는 1)를 나타내고 있다.
한편, 변형ㆍ이동 처리부 (105)에 의한 화상 데이터의 변형ㆍ이동 처리의 개시는 지연되어, 시각 T2로부터 개시되어 있다.
따라서, 시각 T1에 있어서의 화상 데이터의 타이밍 정보 S108은 미개시(도 10 (E)의 예에서는 0)를 나타내고 있다.
합성부(107B)는 양쪽의 타이밍 정보를 비교하고, 시각 T1에서 합성 대상 화상 데이터 S106의 화면 구성 변화가 개시되어 있지 않은 것을 검지할 수 있다.
도 10 (A)∼도 10 (E)의 예에서는, 시각 T1에서, 합성 대상 화상 데이터 S106만을 합성 데이터로서 출력하고 있지만, 시각 T0에서의 합성 대상 그래픽스 S103을 프레임 메모리(110)에 보존해 두고, 시각 T1에서의 합성 대상 화상 데이터 S106을 합성해도 된다.
또는, 시각 T0에서의 합성 데이터 S107을 프레임 메모리(110)에 보존해 두고, 시각 T1에서 반복 출력해도 된다.
시각 T1에서 타이밍 정보의 어긋남을 검지한 합성부(107B)는 타이밍이 진행되고 있는 합성 대상(도 10 (A)∼도 10 (E)의 예에서는 합성 대상 그래픽스 S103)을 프레임 메모리(110)에 축적하여 지연시킨다.
시각 T2에 있어서의 그래픽스의 타이밍 정보 S109는 개시 후 2프레임째를 나타내고, 화상 데이터의 타이밍 정보 S108은 개시 후 1프레임째를 나타내고 있다. 타이밍 정보에 따라, 합성부(107B)는 화상 데이터 S106이 1프레임 지연되어 있는 것을 검지할 수 있다.
따라서, 시각 T2에서의 합성에는, 프레임 메모리(110)에 축적하고 있던 시각T1에서의 합성 대상 그래픽스 S103을 사용함으로써 그래픽스를 지연시켜, 화상 데이터 S106과의 타이밍을 맞추도록 보정한다.
이후, 동일한 동작에 의해, 항상 타이밍이 맞는 그래픽스와 화상 데이터를 합성하는 것이 가능해진다.
또, 제3 실시예에서도, 화면 구성 변화의 개시까지의 카운트다운을 타이밍 정보에 가함으로써, 도 10 (A)∼도 10 (E)의 시각 T1에서의 화상 타이밍 정보가 개시 준비를 나타내게 되어, 합성부가 그래픽스를 1프레임 지연시키면 되는 취지, 시각 T1에서 선행하여 아는 것이 가능해진다.
다음에, 타이밍 정보의 상이한 주고받는 방법에 대하여, 도 11를 참조하여 설명한다.
도 11에서, (111)은 타이밍 정보 생성부, (112)는 타이밍 정보 검출부, (113)은 중첩 수단으로서의 가산부를 각각 나타내고 있다.
도 4, 도 8 및 도 9에 나타낸 데이터 합성 장치(100, 100A, 100B)에서는, 그래픽스 및 화상 데이터와는 별개로 타이밍 정보를 주고 받고 있었다.
도 11에 나타낸 타이밍 정보의 주고받는 방법에서는, 가산부(113)에서, 화상 데이터 또는 그래픽스 S120에 타이밍 정보 S111을 중첩하고, 타이밍 정보 검출부 (112)에 의해 중첩 데이터 S113에 포함되는 화상 데이터 또는 그래픽스 중에서 중첩된 타이밍 정보를 검출한다.
이 주고받는 방법에 의하면, 데이터와는 별개로 타이밍 정보를 주고 받기 위한 통신 수단이 불필요해진다.
특히, 화상 처리부(106)에 의해 데이터가 지연되는 경우, 화상 처리부(106)에서 특별한 처리없이, 타이밍 정보도 지연시킬 수 있다고 하는 이점이 있다.
전술한 제1 및 제2 실시예에서도, 타이밍 정보 검출부(112)로부터 타이밍 정보를 대응하는 제어부에 통지함으로써, 화상 데이터 또는 그래픽스에 타이밍 정보를 중첩하는 주고받는 방법을 적용할 수 있다.
특히, 그래픽스 및 화상 데이터의 공백 기간(화면 구성에 유효한 영역 밖의 부분)에 타이밍 정보를 중첩함으로써, 그래픽스 및 화상 데이터에 영향을 주지 않고, 타이밍 정보를 주고 받는 것이 가능하다.
이상 설명한 바와 같이, 본 발명에 의하면, 화면을 구성하는 데이터의 예를 들면 변형이나 이동(배치), 생성의 타이밍 정보를 생성하고, 상기 타이밍 정보에 맞추어 합성되는 데이터의 변형이나 이동(배치), 생성의 타이밍을 보정함으로써, 타이밍 맞춤을 필요로 하는 화면 구성의 합성이 가능해지는 이점이 있다.
또, 본 발명에 의하면, 화면을 구성하는 데이터의 변형이나 이동(배치), 생성의 타이밍 정보를 생성하고, 합성단(段)에서 합성 대상의 타이밍 정보를 비교하여, 합성하는 타이밍을 보정함으로써, 타이밍 맞춤을 필요로 하는 화면 구성의 합성이 가능해진다.
또한, 화면 구성의 변화를 개시할 때까지의 카운트다운을 타이밍 정보에 수납함으로써, 타이밍 정보를 즉시 반영할 수 없는 시스템에서도, 화면 구성의 변화 개시점으로부터 모순없이 타이밍 보정을 행하는 것이 가능해진다.
또, 타이밍 정보를 합성 대상 데이터 중에 중첩함으로써, 데이터와는 별개로 타이밍 정보를 주고 받기 위한 통신 수단을 불필요하게 하는 것도 가능하다.
특히, 각 제어부가 복수개의 프로세서에 의해 구성되어 있거나, 각 제어부 사이나 제어부와 처리부 사이의 통신이 지연을 포함하는 버스에 의해 접속되어 있거나, 통신에 시간이 걸리는 경우나, 각 제어부나 처리부가 소프트웨어에 의해 구성되어 있는 경우, 및 복수개의 합성 대상 데이터가 비동기로 입력되는 경우 등에 있어서도, 본 발명에 의해 원하는 화면 구성을 모순없이 합성하는 것이 가능해진다.
본 발명의 데이터 합성 장치 및 데이터 합성 방법에 의하면, 타이밍 정보에 맞추어 합성되는 데이터의 변형이나 이동(배치), 생성의 타이밍을 보정하는 것이 가능하며, 타이밍 맞춤을 필요로 하는 화면 구성의 합성이 가능해지기 때문에, 정지 화상 데이터, 동화상 데이터, 및 그래픽 데이터 등을 합성하여 화면을 구성하는 TV 방송 수신기, TV 모니터, PC 모니터, 편집 장치, 멀티미디어 데이터 재생 장치 등에 적용가능하다.

Claims (20)

  1. 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 장치로서,
    상기 제1 데이터에 대하여 소정의 처리를 행하는 처리부와,
    상기 제2 데이터를 생성하는 데이터 생성부와,
    상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 합성부와,
    상기 합성부에 있어서의, 상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 생성부에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 처리부의 처리 또는 상기 데이터 생성부의 생성 처리의 타이밍 정보를 생성하는 타이밍 정보 생성부와,
    상기 처리부 또는 상기 데이터 생성부에, 상기 타이밍 정보 생성부에서 생성된 타이밍 정보에 따라, 처리 또는 생성 타이밍을 보정하여 소정의 처리 또는 데이터 생성을 행하게 하는 제어부
    를 구비하는 데이터 합성 장치.
  2. 제1항에 있어서,
    상기 처리부에 의해 소정의 처리가 행해진 제1 데이터에 대하여, 지연을 포함하는 처리를 행하는 제2 처리부를 추가로 가지며,
    상기 타이밍 정보 생성부는 상기 제2 처리부의 해당 지연량을 부가하여, 합성부로의 입력 타이밍을 나타내는 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 장치.
  3. 제1항에 있어서,
    상기 타이밍 정보 생성부는 화면 구성의 변화를 개시할 때까지의 카운트다운을 포함하는 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 장치.
  4. 제1항에 있어서,
    상기 타이밍 정보 생성부에서 생성된 타이밍 정보를 상기 제1 데이터 또는 제2 데이터에 중첩시키는 중첩 수단을 추가로 가지며,
    상기 제어부는 상기 중첩된 타이밍 정보에 따라, 상기 처리부 또는 상기 데이터 생성부에, 처리 또는 생성 타이밍을 보정하여 소정의 처리 또는 데이터 생성을 행하게 하는 것을 특징으로 하는 데이터 합성 장치.
  5. 제4항에 있어서,
    상기 중첩 수단은 상기 타이밍 정보를 상기 화상에 관한 제1 데이터 또는 제2 데이터의 공백 기간에 중첩하는 것을 특징으로 하는 데이터 합성 장치.
  6. 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 장치로서,
    상기 제1 데이터에 대하여 소정의 처리를 행하는 처리부와,
    상기 제2 데이터를 생성하는 데이터 생성부와,
    상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 합성부와,
    상기 합성부에 있어서의, 상기 처리부에서 소정의 처리가 행해진 제1 데이터와 상기 생성부에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 처리부의 처리 및 상기 데이터 생성부의 생성 처리 중 적어도 한쪽의 타이밍 정보를 생성하는 타이밍 정보 생성부
    를 구비하며,
    상기 합성부는 상기 타이밍 정보 생성부에서 생성된 타이밍 정보에 따라, 동일 타이밍에서 행해지도록 보정하여 합성을 행하는 데이터 합성 장치.
  7. 제6항에 있어서,
    상기 처리부에 의해 소정의 처리가 행해진 제1 데이터에 대하여, 지연을 포함하는 처리를 행하는 제2 처리부를 추가로 가지며,
    상기 타이밍 정보 생성부는 상기 제2 처리부의 해당 지연량을 부가하여, 합성부로의 입력 타이밍을 나타내는 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 장치.
  8. 제6항에 있어서,
    상기 타이밍 정보 생성부는 화면 구성의 변화를 개시할 때까지의 카운트다운을 포함하는 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 장치.
  9. 제6항에 있어서,
    상기 타이밍 정보 생성부에서 생성된 타이밍 정보를 상기 제1 데이터 또는 제2 데이터에 중첩시키는 중첩 수단을 추가로 가지며,
    상기 합성부는 상기 중첩된 타이밍 정보에 따라, 동일 타이밍에서 행해지도록 보정하여 합성을 행하는 것을 특징으로 하는 데이터 합성 장치.
  10. 제9항에 있어서,
    상기 중첩 수단은 상기 타이밍 정보를 상기 화상에 관한 제1 데이터 또는 제2 데이터의 공백 기간에 중첩하는 데이터 합성 장치.
  11. 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 방법으로서,
    상기 제1 데이터에 대하여 소정의 처리를 행하는 제1 스텝과,
    상기 제2 데이터를 생성하는 제2 스텝과,
    상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 제3 스텝
    을 포함하고,
    상기 제3 스텝에 있어서의, 상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 제2 스텝에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 제1 스텝의 처리 또는 상기 제2 스텝의 생성 처리의 타이밍 정보를 생성하고,
    상기 제1 스텝 또는 상기 제2 스텝에 있어서, 상기 타이밍 정보에 따라, 처리 또는 생성 타이밍을 보정하여 소정의 처리 또는 데이터 생성을 행하는
    데이터 합성 방법.
  12. 제11항에 있어서,
    상기 제1 스텝에 의해 소정의 처리가 행해진 제1 데이터에 대하여, 지연을 포함하는 처리를 행하는 제4 스텝을 추가로 가지며,
    상기 제4 스텝의 해당 지연량을 부가하여 상기 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 방법.
  13. 제11항에 있어서,
    화면 구성의 변화를 개시할 때까지의 카운트다운을 포함하는 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 방법.
  14. 제11항에 있어서,
    상기 생성된 타이밍 정보를 상기 제1 데이터 또는 제2 데이터에 중첩시키고,
    상기 제1 스텝 또는 제2 스텝에서는, 중첩된 타이밍 정보에 따라, 처리 또는 생성 타이밍을 보정하여 소정의 처리 또는 데이터 생성을 행하는 것을 특징으로 하는 데이터 합성 방법.
  15. 제14항에 있어서,
    상기 타이밍 정보를 상기 화상에 관한 제1 데이터 또는 제2 데이터의 공백 기간에 중첩하는 것을 특징으로 하는 데이터 합성 방법.
  16. 화상에 관한 제1 데이터와 제2 데이터를 합성하여 화면을 구성하는 데이터 합성 방법으로서,
    상기 제1 데이터에 대하여 소정의 처리를 행하는 제1 스텝과,
    상기 제2 데이터를 생성하는 제2 스텝과,
    상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 데이터 생성부에서 생성된 제2 데이터를 합성하는 제3 스텝
    을 포함하고,
    상기 제3 스텝에 있어서의, 상기 제1 스텝에서 소정의 처리가 행해진 제1 데이터와 상기 제2 스텝에서 생성된 제2 데이터와의 합성이 동일 타이밍에서 행해지도록, 상기 제1 스텝의 처리 및 상기 제2 스텝의 생성 처리 중 적어도 한쪽의 타이밍 정보를 생성하고,
    상기 제3 스텝에서, 상기 타이밍 정보에 따라, 동일 타이밍에서 행해지도록 보정하여 합성을 행하는
    데이터 합성 방법.
  17. 제16항에 있어서,
    상기 제1 스텝에 의해 소정의 처리가 행해진 제1 데이터에 대하여, 지연을 포함하는 처리를 행하는 제4 스텝을 추가로 포함하며,
    상기 제4 스텝의 해당 지연량을 부가하여 상기 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 방법.
  18. 제16항에 있어서,
    화면 구성의 변화를 개시할 때까지의 카운트다운을 포함하는 타이밍 정보를 생성하는 것을 특징으로 하는 데이터 합성 방법.
  19. 제16항에 있어서,
    상기 생성된 타이밍 정보를 상기 제1 데이터 또는 제2 데이터에 중첩시키고,
    상기 제1 스텝 또는 제2 스텝에서는, 중첩된 타이밍 정보에 따라, 처리 또는 생성 타이밍을 보정하여 소정의 처리 또는 데이터 생성을 행하는 것을 특징으로 하는 데이터 합성 방법.
  20. 제19항에 있어서,
    상기 타이밍 정보를 상기 화상에 관한 제1 데이터 또는 제2 데이터의 공백 기간에 중첩하는 것을 특징으로 하는 데이터 합성 방법.
KR1020057018692A 2003-04-01 2004-03-30 데이터 합성 장치 및 데이터 합성 방법 KR101023453B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00098015 2003-04-01
JP2003098015A JP4161770B2 (ja) 2003-04-01 2003-04-01 データ合成装置およびデータ合成方法

Publications (2)

Publication Number Publication Date
KR20050115376A true KR20050115376A (ko) 2005-12-07
KR101023453B1 KR101023453B1 (ko) 2011-03-24

Family

ID=33156661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057018692A KR101023453B1 (ko) 2003-04-01 2004-03-30 데이터 합성 장치 및 데이터 합성 방법

Country Status (6)

Country Link
US (1) US7605869B2 (ko)
EP (1) EP1610298A4 (ko)
JP (1) JP4161770B2 (ko)
KR (1) KR101023453B1 (ko)
CN (1) CN100550124C (ko)
WO (1) WO2004090859A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100022833A1 (en) * 2005-09-09 2010-01-28 Olympus Medical Systems Corp. Receiving apparatus, monitor apparatus, and intra-subject information acquiring system employing the same
WO2008032442A1 (fr) * 2006-09-14 2008-03-20 Nikon Corporation Dispositif de traitement d'images, caméra électronique et programme de traitement d'images
US8289345B2 (en) 2007-05-08 2012-10-16 Panasonic Corporation Display device
JP5881897B2 (ja) 2013-05-17 2016-03-09 三菱電機株式会社 映像合成装置および方法
WO2015037373A1 (ja) * 2013-09-12 2015-03-19 ソニー株式会社 符号化装置、送信装置および受信装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594467A (en) 1989-12-06 1997-01-14 Video Logic Ltd. Computer based display system allowing mixing and windowing of graphics and video
US5805237A (en) * 1991-05-20 1998-09-08 Canon Kabushiki Kaisha Image processing apparatus with a function of superimposing a binary image on another image
US5327237A (en) * 1991-06-14 1994-07-05 Wavephore, Inc. Transmitting data with video
JPH05216465A (ja) 1992-02-03 1993-08-27 Mitsubishi Electric Corp 画像表示装置
JPH05244530A (ja) 1992-02-28 1993-09-21 Mitsubishi Electric Corp ディスプレイ装置
JP3260913B2 (ja) * 1992-06-01 2002-02-25 セイコーエプソン株式会社 画像再生装置
JPH06350937A (ja) * 1993-06-14 1994-12-22 Pioneer Electron Corp 画像合成再生装置
JP3128034B2 (ja) 1993-11-18 2001-01-29 日本ビクター株式会社 画像合成装置
JPH08331472A (ja) 1995-05-24 1996-12-13 Internatl Business Mach Corp <Ibm> 共有フレーム・バッファを含むマルチメディア表示装置においてビデオ・データとグラフィック・データの同期をとる方法及び装置
JP3339284B2 (ja) 1996-01-29 2002-10-28 三菱電機株式会社 大画面表示方式
US6144415A (en) * 1996-03-07 2000-11-07 Thomson Licensing S.A. Apparatus for sampling and displaying an auxiliary image with a main image to eliminate a spatial seam in the auxiliary image
US6147695A (en) * 1996-03-22 2000-11-14 Silicon Graphics, Inc. System and method for combining multiple video streams
US6046777A (en) * 1996-09-06 2000-04-04 Thomson Consumer Electronics, Inc. Apparatus for sampling and displaying an auxiliary image with a main image to eliminate a spatial seam in the auxiliary image during freeze frame operation
JPH10290395A (ja) 1997-04-14 1998-10-27 Mitsubishi Electric Corp 画像合成装置
JP4210724B2 (ja) 1999-03-23 2009-01-21 独立行政法人情報通信研究機構 字幕番組受信システム
US6292225B1 (en) * 1999-05-07 2001-09-18 Sony Corporation Precision horizontal positioning system
US6606127B1 (en) * 1999-06-10 2003-08-12 Enseo, Inc. System and method for synchronizing, storing and accurately reproducing video signals
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP2002237791A (ja) 2000-12-07 2002-08-23 Matsushita Electric Ind Co Ltd データ放送番組制作システム、データ放送番組制作方法及びデータ放送番組制作プログラム並びにコンピュータ読み取り可能な記録媒体
JP4191911B2 (ja) 2001-05-09 2008-12-03 日本放送協会 映像音声信号切り替え装置

Also Published As

Publication number Publication date
CN100550124C (zh) 2009-10-14
KR101023453B1 (ko) 2011-03-24
US20060215061A1 (en) 2006-09-28
US7605869B2 (en) 2009-10-20
JP2004302361A (ja) 2004-10-28
CN1768370A (zh) 2006-05-03
WO2004090859A1 (ja) 2004-10-21
EP1610298A4 (en) 2010-12-08
JP4161770B2 (ja) 2008-10-08
EP1610298A1 (en) 2005-12-28

Similar Documents

Publication Publication Date Title
JPH11331638A (ja) 同期制御回路
JP2004208014A (ja) 字幕表示装置及び字幕表示プログラム
KR101023453B1 (ko) 데이터 합성 장치 및 데이터 합성 방법
JP2000092348A (ja) フレームシンクロナイザ
JP4355820B2 (ja) 画像処理装置、画像処理方法、及びテレビジョン受像機
JPWO2008032744A1 (ja) 映像処理装置および映像処理方法
JP2009077042A (ja) 映像処理装置および映像処理方法
JP2007068182A (ja) 撮像されたイメージ合成方法及び前記方法により撮像されたイメージを合成するカメラまたはカメラが内蔵された移動機器
JP5669456B2 (ja) 画像表示装置及びその制御方法
CN110545411B (zh) 投影机、投影系统以及其传输延迟的侦测方法
US6765620B2 (en) Synchronous signal generation circuit and synchronous signal generation method
JP6010373B2 (ja) サブ情報提示装置、映像提示装置及びプログラム
JP5077037B2 (ja) 画像処理装置
JP2976877B2 (ja) キーストン歪み補正装置
JP2005275242A (ja) 映像キャプチャ回路及び映像キャプチャ方法
KR102305172B1 (ko) 방송 컨텐츠와 연계된 부가 컨텐츠 출력 방법
JP2009141689A (ja) アナログデジタル変換システム及びｓｃａｒｔ対応システム
JP2003069892A (ja) 撮像装置
JP2007201797A (ja) 伝送システム及び映像出力方法
JP2011109347A (ja) テレビスタジオマスターシステム
JP3523437B2 (ja) 画像処理装置
US20140146135A1 (en) Image processing apparatus and image processing method
JP2800724B2 (ja) 画像合成回路
JP2011223383A (ja) 表示制御装置及び表示制御方法
JP2003219209A (ja) ノイズキャンセル装置及びノイズキャンセル方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee