KR102538714B1 - 송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템 - Google Patents

송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템 Download PDF

Info

Publication number
KR102538714B1
KR102538714B1 KR1020197032111A KR20197032111A KR102538714B1 KR 102538714 B1 KR102538714 B1 KR 102538714B1 KR 1020197032111 A KR1020197032111 A KR 1020197032111A KR 20197032111 A KR20197032111 A KR 20197032111A KR 102538714 B1 KR102538714 B1 KR 102538714B1
Authority
KR
South Korea
Prior art keywords
data
transmission
unit
parameter
lanes
Prior art date
Application number
KR1020197032111A
Other languages
English (en)
Other versions
KR20200016202A (ko
Inventor
나오키 요시모치
마사토시 미즈노
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20200016202A publication Critical patent/KR20200016202A/ko
Application granted granted Critical
Publication of KR102538714B1 publication Critical patent/KR102538714B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/14—Channel dividing arrangements, i.e. in which a single bit stream is divided between several baseband channels and reassembled at the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/38—Synchronous or start-stop systems, e.g. for Baudot code
    • H04L25/40—Transmitting circuits; Receiving circuits
    • H04L25/49—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems
    • H04L25/4906—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes
    • H04L25/4908—Transmitting circuits; Receiving circuits using code conversion at the transmitter; using predistortion; using insertion of idle bits for obtaining a desired frequency spectrum; using three or more amplitude levels ; Baseband coding techniques specific to data transmission systems using binary codes using mBnB codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0008—Synchronisation information channels, e.g. clock distribution lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/04—Speed or phase control by synchronisation signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • H04N7/0352—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal for regeneration of the clock signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • H04N7/0357—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal for error detection or correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Communication Control (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

본 기술은, 데이터의 전송 효율을 높일 수 있도록 하는 송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템에 관한 것이다. 본 기술의 한 측면의 송신 장치는, 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 파라미터에 의해 규정되는 모드에서의 데이터 스트림의 송신을, 데이터의 동기와 레인 사이의 데이터의 타이밍의 어긋남의 보정을 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 파라미터의 종류에 응하여 전환한다. 본 기술은, 칩 사이의 데이터 전송에 적용할 수 있다.

Description

송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템
본 기술은, 송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템에 관한 것으로, 특히, 데이터의 전송 효율을 높일 수 있도록 한 송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템에 관한 것이다.
이미지 센서의 고화질화, 고프레임 레이트화에 수반하여 이미지 센서와, 이미지 센서에 의해 촬상된 화상을 처리하는 DSP(Digital Signal Processor) 사이의 인터페이스에 요구되는 데이터의 전송 용량이 높아지고 있다.
특허 문헌 1에는, 화상 데이터를 격납하는 패킷을 복수 레인에 분배하고, 복수 레인을 통하여 이미지 센서로부터 DSP에 데이터를 전송하는 전송 방식이 기재되어 있다. 이 전송 방식에서는, 1프레임의 각 라인을 구성하는 화상 데이터가 이미지 센서에서 각 패킷에 격납되어 DSP에 전송된다.
특허 문헌 1 : 일본 특개2012-120159호 공보
데이터 전송의 모드를 변경할 때마다, 데이터 전송을 일단 멈추고, 수신측에서의 CDR에 의한 재동기와 레인 사이의 Data Skew(데이터의 수신 타이밍의 어긋남)의 보정을 위한 트레이닝 처리를 행하는 것으로 한 경우 전송 효율이 저하된다.
예를 들면, 트레이닝 처리의 사이는 화상 데이터를 전송할 수가 없어서, 트레이닝 처리에 이용하기 위한 말하자면 무효한 데이터를 전송할 필요가 있고, 그와 같은 무효한 데이터를 전송하는 분만큼 전송 효율이 저하되게 된다.
본 기술은 이와 같은 상황을 감안하여 이루어진 것으로, 데이터의 전송 효율을 높일 수 있도록 하는 것이다.
본 기술의 제1의 측면의 송신 장치는, 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하는 분배부와, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 통하여 수신 장치에 대해 병렬로 송신하는 복수의 신호 처리부와, 상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 제어부를 구비한다.
본 기술의 제2의 측면의 수신 장치는, 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을 복수의 상기 레인을 통하여 병렬로 송신하는 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하는 복수의 신호 처리부와, 상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 제어부를 구비한다.
본 기술의 제1의 측면에서는, 상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지가 변경하는 상기 파라미터의 종류에 응하여 전환된다.
본 기술의 제2의 측면에서는, 상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지가 변경하는 상기 파라미터의 종류에 응하여 전환된다.
본 기술에 의하면, 데이터의 전송 효율을 높일 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니고, 본 개시 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 전송 시스템의 제1의 구성례를 도시하는 도면.
도 2는 전송 시스템의 제2의 구성례를 도시하는 도면.
도 3은 전송 시스템의 제3의 구성례를 도시하는 도면.
도 4는 프레임 포맷의 예를 도시하는 도면.
도 5는 송신부와 수신부의 구성례를 도시하는 도면.
도 6은 헤더 구조를 도시하는 도면.
도 7은 헤더 정보의 내용과 정보량을 도시하는 도면.
도 8은 비트 배열의 예를 도시하는 도면.
도 9는 각 화소의 화소치가 8비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면.
도 10은 각 화소의 화소치가 10비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면.
도 11은 각 화소의 화소치가 12비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면.
도 12는 각 화소의 화소치가 14비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면.
도 13은 각 화소의 화소치가 16비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면.
도 14는 페이로드 데이터의 예를 도시하는 도면.
도 15는 페이로드 데이터의 다른 예를 도시하는 도면.
도 16은 패리티가 삽입된 페이로드 데이터의 예를 도시하는 도면.
도 17은 페이로드 데이터에 헤더를 부가한 상태를 도시하는 도면.
도 18은 페이로드 데이터에 헤더와 푸터를 부가한 상태를 도시하는 도면.
도 19는 패리티가 삽입된 페이로드 데이터에 헤더를 부가한 상태를 도시하는 도면.
도 20은 패킷 데이터의 할당의 예를 도시하는 도면.
도 21은 제어 코드의 예를 도시하는 도면.
도 22는 K Character의 값을 도시하는 도면.
도 23은 Pad Code의 삽입의 예를 도시하는 도면.
도 24는 제어 코드 삽입 후의 패킷 데이터의 예를 도시하는 도면.
도 25는 Data Skew의 보정의 예를 도시하는 도면.
도 26은 촬상 장치의 처리에 관해 설명하는 플로우 차트.
도 27은 도 26의 스텝 S2에서 행하여지는 데이터 송신 처리에 관해 설명하는 플로우 차트.
도 28은 도 26의 스텝 S3에서 행하여지는 데이터 수신 처리에 관해 설명하는 플로우 차트.
도 29는 레인수를 전환하는 경우의 제어 시퀀스를 도시하는 도면.
도 30은 프레임 포맷의 다른 예를 도시하는 도면.
도 31은 도 30의 프레임 포맷의 1패킷을 확대하여 도시하는 도면.
도 32는 헤더 정보의 내용을 도시하는 도면.
도 33은 Mode Change의 시퀀스의 예를 도시하는 도면.
도 34는 도 33의 1프레임째를 확대하여 도시하는 도면.
도 35는 Training Sequence에서 이용되는 제어 코드의 예를 도시하는 도면.
도 36은 레지스터에 설정되는 파라미터의 예를 도시하는 도면.
도 37은 Mode Change with Standby의 시퀀스의 예를 도시하는 도면.
도 38은 이미지 센서의 각 레이어 사이에서 이용되는 제어 신호의 예를 도시하는 도면.
도 39는 송신부의 링크 레이어의 상태 천이의 예를 도시하는 도면.
도 40은 송신부의 물리 레이어의 상태 천이의 예를 도시하는 도면.
도 41은 DSP의 각 레이어 사이에서 이용되는 제어 신호의 예를 도시하는 도면.
도 42는 수신부의 링크 레이어의 상태 천이의 예를 도시하는 도면.
도 43은 수신부의 물리 레이어의 상태 천이의 예를 도시하는 도면.
도 44는 Mode Change의 예를 도시하는 도면.
도 45는 간이형 Mode Change의 예를 도시하는 도면.
도 46은 무효 프레임의 전송이 있는 간이형 Mode Change의 시퀀스의 예를 도시하는 도면.
도 47은 간이형 Mode Change가 이용되는 경우의 송신부의 링크 레이어의 상태 천이의 예를 도시하는 도면.
도 48은 간이형 Mode Change시의 각 부분의 처리에 관해 설명하는 시퀀스도.
도 49는 무효 프레임의 전송이 없는 간이형 Mode Change의 시퀀스의 예를 도시하는 도면.
도 50은 헤더에 격납되는 정보의 예를 도시하는 도면.
도 51은 리저브 영역의 할당의 예를 도시하는 도면.
도 52는 Additional Information의 예를 도시하는 도면.
도 53은 간이형 Mode Change시의 각 부분의 처리에 관해 설명하는 시퀀스도.
도 54는 리저브 영역의 할당의 다른 예를 도시하는 도면.
도 55는 Additional Information의 예를 도시하는 도면.
도 56은 간이형 Mode Change시의 각 부분의 처리에 관해 설명하는 시퀀스도.
도 57은 컴퓨터의 구성례를 도시하는 블록도.
도 58은 내시경 수술 시스템의 개략적인 구성의 한 예를 도시하는 도면.
도 59는 도 58에 도시하는 카메라 헤드 및 CCU의 기능 구성의 한 예를 도시하는 블록도.
이하, 본 기술을 실시하기 위한 형태에 관해 설명한다. 설명은 이하의 순서로 행한다.
1. 데이터 전송에 관해
2. Mode Change에 관해
(1) 통상의 Mode Change
(2) Training Sequence를 생략한 Mode Change
(3) 무효 프레임의 전송이 없는 간이형 Mode Change
3. 변형례
4. 응용례
<1. 데이터 전송에 관해>
[전송 시스템의 구성례]
도 1은, 본 기술의 한 실시 형태에 관한 전송 시스템의 제1의 구성례를 도시하는 도면이다.
도 1의 전송 시스템(1)은, 이미지 센서(11)와 DSP(12)로 구성된다. 이미지 센서(11)와 DSP(12)는 각각 다른 LSI(Large Scale Integrated Circuit)에 의해 구성되고, 디지털 카메라나 휴대 전화기 등의 촬상 기능을 갖는 같은 촬상 장치 내에 마련된다. 이미지 센서(11)에는 촬상부(21)와 하나의 송신부(22)가 마련되고, DSP(12)에는 하나의 수신부(31)와 화상 처리부(32)가 마련되어 있다.
이미지 센서(11)의 촬상부(21)는, CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자로 이루어지고, 렌즈를 통하여 수광한 광의 광전변환을 행한다. 또한, 촬상부(21)는, 광전변환에 의해 얻어진 신호의 A/D 변환 등을 행하여 1프레임의 화상을 구성하는 화소 데이터를 1화소의 데이터씩 차례로 송신부(22)에 출력한다.
송신부(22)는, 촬상부(21)로부터 공급된 각 화소의 데이터를 예를 들면 촬상부(21)로부터 공급된 순서로 복수의 전송로에 할당하여 복수의 전송로를 통하여 병렬로 DSP(12)에 송신한다. 도 1의 예에서는, 8개의 전송로를 통하여 화소 데이터의 전송이 행하여지고 있다. 이미지 센서(11)와 DSP(12) 사이의 전송로는 유선의 전송로라도 좋고, 무선의 전송로라도 좋다. 이하, 적절히, 이미지 센서(11)와 DSP(12) 사이의 전송로를 레인(Lane)이라고 한다.
DSP(12)의 수신부(31)는, 8개의 레인을 통하여 송신부(22)로부터 전송되어 온 화소 데이터를 수신하고, 각 화소의 데이터를 차례로 화상 처리부(32)에 출력한다.
화상 처리부(32)는, 수신부(31)로부터 공급된 화소 데이터에 의거하여 1프레임의 화상을 생성하고, 생성한 화상을 이용하여 각종의 화상 처리를 행한다. 이미지 센서(11)로부터 DSP(12)에 전송되는 화상 데이터는 RAW 데이터이고, 화상 처리부(32)에서는, 화상 데이터의 압축, 화상의 표시, 기록 매체에 대한 화상 데이터의 기록 등의 각종의 처리가 행하여진다.
도 2는, 전송 시스템(1)의 제2의 구성례를 도시하는 도면이다. 도 2에 도시하는 구성 중, 도 1에 도시하는 구성과 같은 구성에는 같은 부호를 붙이고 있다. 중복되는 설명에 관해서는 적절히 생략한다.
도 2의 전송 시스템(1)의 이미지 센서(11)에는, 촬상부(21)와, 2개의 송신부인 송신부(22-1, 22-2)가 마련되고, DSP(12)에는, 2개의 수신부인 수신부(31-1, 31-2)와, 화상 처리부(32)가 마련되어 있다.
촬상부(21)는, 촬상을 행함에 의해 얻어진 1프레임의 화상을 구성하는 화소 데이터를 1화소의 데이터씩, 송신부(22-1)와 송신부(22-2)에 병렬로 출력한다. 예를 들면, 촬상부(21)는, 홀수 라인의 화소의 데이터를 송신부(22-1)에 출력하고, 짝수 라인의 화소의 데이터를 송신부(22-2)에 출력한다.
송신부(22-1)는, 촬상부(21)로부터 공급된 각 화소의 데이터를 예를 들면 촬상부(21)로부터 공급된 순서로 복수의 레인에 할당하여 복수의 레인을 통하여 병렬로 DSP(12)에 송신한다. 송신부(22-2)도 마찬가지로, 촬상부(21)로부터 공급된 각 화소의 데이터를 예를 들면 촬상부(21)로부터 공급된 순서로 복수의 레인에 할당하여 복수의 레인을 통하여 병렬로 DSP(12)에 송신한다.
도 2의 예에서도 이미지 센서(11)와 DSP(12)의 사이는 8개의 레인을 통하여 접속되어 있다. 송신부(22-1)와 송신부(22-2)는, 각각, 4개의 레인을 통하여 화소 데이터를 전송한다.
DSP(12)의 수신부(31-1)는, 4개의 레인을 통하여 송신부(22-1)로부터 전송되어 온 화소 데이터를 수신하고, 각 화소의 데이터를 차례로 화상 처리부(32)에 출력한다. 수신부(31-2)도 마찬가지로, 4개의 레인을 통하여 송신부(22-2)로부터 전송되어 온 화소 데이터를 수신하고, 각 화소의 데이터를 차례로 화상 처리부(32)에 출력한다.
화상 처리부(32)는, 수신부(31-1)로부터 공급된 화소 데이터와 수신부(31-2)로부터 공급된 화소 데이터에 의거하여 1프레임의 화상을 생성하고, 생성한 화상을 이용하여 각종의 화상 처리를 행한다.
도 2에 도시하는 바와 같이 이미지 센서(11)에 2개의 송신부를 마련하고, 그것에 대응시켜서 2개의 수신부를 DSP(12)에 마련함에 의해, 촬상부(21)가 출력하는 화소 데이터의 레이트가 높은 경우라도 화소 데이터를 DSP(12)에 전송하는 것이 가능해진다.
도 3은, 전송 시스템(1)의 제3의 구성례를 도시하는 도면이다. 도 3에 도시하는 구성 중, 도 1에 도시하는 구성과 같은 구성에는 같은 부호를 붙이고 있다. 중복되는 설명에 관해서는 적절히 생략한다.
도 3의 전송 시스템(1)에서는, 이미지 센서(11-1)와 이미지 센서(11-2)의 2개의 이미지 센서가 마련되어 있다. 이미지 센서(11-1)에는 촬상부(21-1)와 하나의 송신부인 송신부(22-1)가 마련되고, 이미지 센서(11-2)에는 촬상부(21-2)와 하나의 송신부인 송신부(22-2)가 마련된다. DSP(12)에는, 도 2의 경우와 마찬가지로, 2개의 수신부인 수신부(31-1, 31-2)와, 화상 처리부(32)가 마련되어 있다.
이미지 센서(11-1)의 촬상부(21-1)는, 촬상을 행함에 의해 얻어진 1프레임의 화상을 구성하는 화소 데이터를 1화소의 데이터씩 차례로 송신부(22-1)에 출력한다.
송신부(22-1)는, 촬상부(21-1)로부터 공급된 각 화소의 데이터를 예를 들면 촬상부(21-1)로부터 공급된 순서로 복수의 레인에 할당하여 복수의 레인을 통하여 병렬로 DSP(12)에 송신한다.
이미지 센서(11-2)의 촬상부(21-2)는, 촬상을 행함에 의해 얻어진 1프레임의 화상을 구성하는 화소 데이터를 1화소의 데이터씩 차례로 송신부(22-2)에 출력한다.
송신부(22-2)는, 촬상부(21-2)로부터 공급된 각 화소의 데이터를 예를 들면 촬상부(21-2)로부터 공급된 순서로 복수의 레인에 할당하여 복수의 레인을 통하여 병렬로 DSP(12)에 송신한다.
도 3의 예에서도 이미지 센서측과 DSP(12)의 사이는 8개의 레인을 통하여 접속되어 있다. 이미지 센서(11-1)와 이미지 센서(11-2)에는 각각 4개의 레인이 할당되고, 송신부(22-1)와 송신부(22-2)는, 각각, 4개의 레인을 통하여 화소 데이터를 전송한다.
DSP(12)의 수신부(31-1)는, 4개의 레인을 통하여 이미지 센서(11-1)의 송신부(22-1)로부터 전송되어 온 화소 데이터를 수신하고, 각 화소의 데이터를 차례로 화상 처리부(32)에 출력한다. 수신부(31-2)도 마찬가지로, 4개의 레인을 통하여 이미지 센서(11-2)의 송신부(22-2)로부터 전송되어 온 화소 데이터를 수신하고, 각 화소의 데이터를 차례로 화상 처리부(32)에 출력한다.
화상 처리부(32)는, 수신부(31-1)로부터 공급된 화소 데이터에 의거하여 1프레임의 화상을 생성함과 함께, 수신부(31-2)로부터 공급된 화소 데이터에 의거하여 1프레임의 화상을 생성한다. 화상 처리부(32)는, 생성한 화상을 이용하여 각종의 화상 처리를 행한다.
도 3에 도시하는 바와 같이 2개의 이미지 센서를 마련함에 의해, 예를 들면, 이미지 센서(11-1)에 의해 촬상된 좌안용의 화상과, 이미지 센서(11-2)에 의해 촬상된 우안용의 화상으로 이루어지는 3D 화상을 하나의 DSP(12)로 처리하는 것이 가능해진다. 좌안용의 화상과 우안용의 화상에는 시차가 있다.
이상과 같이, 전송 시스템(1)의 이미지 센서에는, 촬상된 1프레임의 화상 데이터를 전송하는 송신부가 하나 또는 복수 마련된다. 한편, DSP에는, 이미지 센서의 송신부에 대응하여 이미지 센서로부터 전송되어 온 데이터를 수신하는 수신부가 하나 또는 복수 마련된다.
이하, 이미지 센서(11)에 하나의 송신부가 마련되고, DSP(12)에 하나의 수신부가 마련된 도 1의 전송 시스템(1)에서의 데이터 전송에 관해 설명한다. 도 2와 도 3의 송신부(22-1)-수신부(31-1) 사이, 송신부(22-2)-수신부(31-2) 사이에서도 마찬가지로 하여 데이터 전송이 행하여진다.
[프레임 포맷]
도 4는, 이미지 센서(11)-DSP(12) 사이에서 1프레임의 화상 데이터를 전송하는데 이용되는 포맷의 예를 도시하는 도면이다.
유효 화소 영역(A1)은, 촬상부(21)에 의해 촬상된 1프레임의 화상의 유효 화소의 영역이다. 유효 화소 영역(A1)의 좌측에는, 수직 방향의 화소수가 유효 화소 영역(A1)의 수직 방향의 화소수와 같은 마진 영역(A2)이 설정된다.
유효 화소 영역(A1)의 상측에는, 수평 방향의 화소수가 유효 화소 영역(A1)과 마진 영역(A2) 전체의 수평 방향의 화소수와 같은 전(前) 더미 영역(A3)이 설정된다. 도 4의 예에서는, 전 더미 영역(A3)에는 Embedded Data가 삽입되어 있다. Embedded Data는, 셔터 스피드, 조리개값, 게인 등의 촬상부(21)에 의한 촬상에 관한 설정치의 정보가 포함된다. 후 더미 영역(A4)에 Embedded Data가 삽입되는 일도 있다.
유효 화소 영역(A1)의 하측에는, 수평 방향의 화소수가 유효 화소 영역(A1)과 마진 영역(A2) 전체의 수평 방향의 화소수와 같은 후 더미 영역(A4)이 설정된다.
유효 화소 영역(A1), 마진 영역(A2), 전 더미 영역(A3) 및 후 더미 영역(A4)으로 화상 데이터 영역(A11)이 구성된다.
화상 데이터 영역(A11)을 구성하는 각 라인의 앞(前)에는 헤더가 부가되고, 헤더 앞에는 Start Code가 부가된다. 또한, 화상 데이터 영역(A11)을 구성하는 각 라인의 뒤에는 푸터가 옵션으로 부가되고, 푸터의 뒤에는 End Code 등의 후술하는 제어 코드가 부가된다. 푸터가 부가되지 않는 경우, 화상 데이터 영역(A11)을 구성하는 각 라인의 뒤에 End Code 등의 제어 코드가 부가된다.
촬상부(21)에 의해 촬상된 1프레임의 화상을 이미지 센서(11)로부터 DSP(12)에 전송할 때마다, 도 4에 도시하는 포맷의 데이터 전체가 전송 데이터로서 전송된다.
도 4의 상측의 띠(帶)는 하측에 도시하는 전송 데이터의 전송에 이용되는 패킷의 구조를 나타내고 있다. 수평 방향의 화소의 나열을 라인이라고 하면, 패킷의 페이로드에는, 화상 데이터 영역(A11)의 1라인을 구성하는 화소의 데이터가 격납된다. 1프레임의 화상 데이터 전체의 전송은, 화상 데이터 영역(A11)의 수직 방향의 화소수 이상의 수의 패킷을 이용하여 행하여지게 된다.
1라인분의 화소 데이터가 격납된 페이로드에, 헤더와 푸터가 부가됨에 의해 1패킷이 구성된다. 후에 상세히 기술하는 바와 같이, 헤더에는, Frame Start, Frame End, Line Valid, Line Number, ECC 등의 페이로드에 격납되어 있는 화소 데이터의 부가적인 정보가 포함된다. 각 패킷에는, 제어 코드인 Start Code와 End Code가 적어도 부가된다.
이와 같이, 1프레임의 화상을 구성하는 화소 데이터를 라인마다 전송하는 포맷을 채용함에 의해, 헤더 등의 부가적인 정보나 Start Code, End Code 등의 제어 코드를 라인마다의 블랭킹 기간 중에 전송하는 것이 가능해진다.
[송신부(22)와 수신부(31)의 구성]
도 5는, 송신부(22)와 수신부(31)의 구성례를 도시하는 도면이다.
도 5의 좌측에 파선으로 둘러싸서 나타내는 구성이 송신부(22)의 구성이고, 우측에 파선으로 둘러싸서 나타내는 구성이 수신부(31)의 구성이다. 송신부(22)와 수신부(31)는, 각각, 링크 레이어의 구성과 물리 레이어의 구성으로 이루어진다. 실선(L2)보다 상측에 도시하는 구성이 링크 레이어의 구성이고, 실선(L2)보다 하측에 도시하는 구성이 물리 레이어의 구성이다.
또한, 실선(L1)의 위에 도시하는 구성은 어플리케이션 레이어의 구성이다. 시스템 제어부(51), 프레임 데이터 입력부(52) 및 레지스터(53)는 촬상부(21)에서 실현된다. 시스템 제어부(51)는, 송신부(22)의 LINK-TX 프로토콜 관리부(61)와 통신을 행하여 프레임 포맷에 관한 정보를 제공하는 등으로 화상 데이터의 전송을 제어한다. 프레임 데이터 입력부(52)는, 유저에 의한 지시 등에 응하여 촬상을 행하고, 촬상을 행함에 의해 얻어진 화상을 구성하는 각 화소의 데이터를 송신부(22)의 Pixel to Byte 변환부(62)에 공급한다. 레지스터(53)는, Pixel to Byte 변환의 비트수나 Lane수 등의 정보를 기억한다. 레지스터(53)에 기억되어 있는 정보에 따라 화상 데이터의 송신 처리가 행하여진다.
또한, 어플리케이션 레이어의 구성 중의 프레임 데이터 출력부(141), 레지스터(142) 및 시스템 제어부(143)는 화상 처리부(32)에서 실현된다. 프레임 데이터 출력부(141)는, 수신부(31)로부터 공급된 각 라인의 화소 데이터에 의거하여 1프레임의 화상을 생성하고, 출력한다. 프레임 데이터 출력부(141)로부터 출력된 화상을 이용하여 각종의 처리가 행하여진다. 레지스터(142)는, Byte to Pixel 변환의 비트수나 Lane수 등의 화상 데이터의 수신에 관한 각종의 설정치를 기억한다. 레지스터(142)에 기억되어 있는 정보에 따라 화상 데이터의 수신 처리가 행하여진다. 시스템 제어부(143)는, LINK-RX 프로토콜 관리부(121)와 통신을 행하여 모드 체인지 등의 시퀀스를 제어한다.
[송신부(22)의 링크 레이어의 구성]
우선, 송신부(22)의 링크 레이어의 구성에 관해 설명한다.
송신부(22)에는, 링크 레이어의 구성으로서, LINK-TX 프로토콜 관리부(61), Pixel to Byte 변환부(62), 페이로드 ECC 삽입부(63), 패킷 생성부(64) 및 레인 분배부(65)가 마련된다. LINK-TX 프로토콜 관리부(61)는, 상태 제어부(71), 헤더 생성부(72), 데이터 삽입부(73) 및 푸터 생성부(74)로 구성된다.
LINK-TX 프로토콜 관리부(61)의 상태 제어부(71)는, 송신부(22)의 링크 레이어의 상태를 관리한다.
헤더 생성부(72)는, 1라인분의 화소 데이터가 격납된 페이로드에 부가되는 헤더를 생성하고, 패킷 생성부(64)에 출력한다.
도 6은, 헤더 생성부(72)에 의해 생성되는 헤더의 구조를 도시하는 도면이다.
상술한 바와 같이, 1패킷 전체는, 헤더와, 1라인분의 화소 데이터인 페이로드 데이터로 구성된다. 패킷에는 푸터가 부가되는 일도 있다. 헤더는, 헤더 정보와 Header ECC로 구성된다.
헤더 정보에는, Frame Start, Frame End, Line Valid, Line Number, Reserved가 포함된다. 각 정보의 내용과 정보량을 도 7에 도시한다.
Frame Start는, 프레임의 선두를 나타내는 1비트의 정보이다. 도 4의 화상 데이터 영역(A11)의 1라인째의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Frame Start에는 1의 값이 설정되고, 다른 라인의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Frame Start에는 0의 값이 설정된다.
Frame End는, 프레임의 종단(終端)을 나타내는 1비트의 정보이다. 유효 화소 영역(A1)의 종단 라인의 화소 데이터를 페이로드에 포함하는 패킷의 헤더의 Frame End에는 1의 값이 설정되고, 다른 라인의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Frame End에는 0의 값이 설정된다.
Frame Start와 Frame End가 프레임에 관한 정보인 프레임 정보가 된다.
Line Valid는, 페이로드에 격납되어 있는 화소 데이터의 라인이 유효 화소의 라인인지의 여부를 나타내는 1비트의 정보이다. 유효 화소 영역(A1) 내의 라인의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Line Valid에는 1의 값이 설정되고, 다른 라인의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Line Valid에는 0의 값이 설정된다.
Line Number는, 페이로드에 격납되어 있는 화소 데이터에 의해 구성되는 라인의 라인 번호를 나타내는 13비트의 정보이다.
Line Valid와 Line Number가 라인에 관한 정보인 라인 정보가 된다.
Reserved는 확장용의 32비트의 영역이다. 헤더 정보 전체의 데이터량은 6바이트가 된다.
도 6에 도시하는 바와 같이, 헤더 정보에 계속해서 배치되는 Header ECC에는, 6바이트의 헤더 정보에 의거하여 계산된 2바이트의 오류 검출 부호인 CRC(Cyclic Redundancy Check) 부호가 포함된다. 또한, Header ECC에는, CRC 부호에 계속해서, 헤더 정보와 CRC 부호의 조(組)인 8바이트의 정보와 같은 정보가 2개 포함된다.
즉, 하나의 패킷의 헤더에는, 같은 헤더 정보와 CRC 부호의 조가 3개 포함된다. 헤더 전체의 데이터량은, 1조째의 헤더 정보와 CRC 부호의 조의 8바이트와, 2조째의 헤더 정보와 CRC 부호의 조의 8바이트와, 3조째의 헤더 정보와 CRC 부호의 조의 8바이트의 합쳐서 24바이트가 된다.
도 8은, 헤더 정보와 CRC 부호의 하나의 조를 구성하는 8바이트의 비트 배열의 예를 도시하는 도면이다.
헤더를 구성하는 8바이트 중의 1번째의 1바이트인 바이트(H7)에는, 1비트째부터 차례로, Frame Start, Frame End, Line Valid의 각 1비트와, Line Number의 13비트 중의 1∼5비트째가 포함된다. 또한, 2번째의 1바이트인 바이트(H6)에는, Line Number의 13비트 중의 6∼13비트째가 포함된다.
3번째의 1바이트인 바이트(H5)부터 6번째의 1바이트인 바이트(H2)가 Reserved가 된다. 7번째의 1바이트인 바이트(H1)와 8번째의 1바이트인 바이트(H0)에는 CRC 부호의 각 비트가 포함된다.
도 5의 설명으로 되돌아와, 헤더 생성부(72)는, 시스템 제어부(51)에 의한 제어에 따라 헤더 정보를 생성한다. 예를 들면, 시스템 제어부(51)로부터는, 프레임 데이터 입력부(52)가 출력하는 화소 데이터의 라인 번호를 나타내는 정보나, 프레임의 선두, 종단을 나타내는 정보가 공급된다.
또한, 헤더 생성부(72)는, 헤더 정보를 생성다항식에 적용하여 CRC 부호를 계산한다. 헤더 정보에 부가된 CRC 부호의 생성다항식은 예를 들면 하기 식(1)에 의해 표시된다.
Figure 112019110892117-pct00001
헤더 생성부(72)는, 헤더 정보에 CRC 부호를 부가함에 의해 헤더 정보와 CRC 부호의 조를 생성하고, 같은 헤더 정보와 CRC 부호의 조를 3조 반복하여 배치함에 의해 헤더를 생성한다. 헤더 생성부(72)는, 생성한 헤더를 패킷 생성부(64)에 출력한다.
데이터 삽입부(73)는, 스터핑(stuffing)에 이용되는 데이터를 생성하고, Pixel to Byte 변환부(62)와 레인 분배부(65)에 출력한다. Pixel to Byte 변환부(62)에 공급된 스터핑 데이터인 페이로드 스터핑 데이터는, Pixel to Byte 변환 후의 화소 데이터에 부가되어 페이로드에 격납되는 화소 데이터의 데이터량의 조정에 이용된다. 또한, 레인 분배부(65)에 공급된 스터핑 데이터인 레인 스터핑 데이터는, 레인 할당 후의 데이터에 부가되어 레인 사이의 데이터량의 조정에 이용된다.
푸터 생성부(74)는, 시스템 제어부(51)에 의한 제어에 응하여 적절히, 페이로드 데이터를 생성다항식에 적용하여 32비트의 CRC 부호를 계산하고, 계산에 의해 구한 CRC 부호를 푸터로서 패킷 생성부(64)에 출력한다. 푸터로서 부가된 CRC 부호의 생성다항식은 예를 들면 하기 식(2)에 의해 표시된다.
[수식 2]
Figure 112019110892117-pct00002
Pixel to Byte 변환부(62)는, 프레임 데이터 입력부(52)로부터 공급된 화소 데이터를 취득하고, 각 화소의 데이터를 1바이트 단위의 데이터로 변환하는 Pixel to Byte 변환을 행한다. 예를 들면, 촬상부(21)에 의해 촬상된 화상의 각 화소의 화소치(RGB)는, 8비트, 10비트, 12비트, 14비트, 1비트 중의 어느 하나의 비트수로 표시된다.
도 9는, 각 화소의 화소치가 8비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면이다.
Data[0]가 LSB를 나타내고, 숫자가 가장 큰 Data[7]가 MSB를 나타낸다. 속이 하얀 화살표로 도시하는 바와 같이, 이 경우, 화소(N)의 화소치를 나타내는 Data[7]∼[0]의 8비트는, Data[7]∼[0]로 이루어지는 Byte N으로 변환된다. 각 화소의 화소치가 8비트로 표시되는 경우, Pixel to Byte 변환 후의 바이트 단위의 데이터의 수는, 화소의 수와 같은 수가 된다.
도 10은, 각 화소의 화소치가 10비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면이다.
이 경우, 화소(N)의 화소치를 나타내는 Data[9]∼[0]의 10비트는, Data[9]∼[2]로 이루어지는 Byte 1.25*N으로 변환된다.
화소(N+1∼N+3)에 대해서도 마찬가지로, 각각의 화소치를 나타내는 Data[9]∼[0]의 10비트가 Data[9]∼[2]로 이루어지는 Byte 1.25*N+1∼Byte 1.25*N+3으로 변환된다. 또한, 화소(N∼N+3)의 각각의 하위의 비트인 Data[1]와 Data[0]가 모아져서 Byte 1.25*N+4로 변환된다. 각 화소의 화소치가 10비트로 표시되는 경우, Pixel to Byte 변환 후의 바이트 단위의 데이터의 수는, 화소의 수의 1.25배의 수가 된다.
도 11은, 각 화소의 화소치가 12비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면이다.
이 경우, 화소(N)의 화소치를 나타내는 Data[11]∼[0]의 12비트는, Data[11]∼[4]로 이루어지는 Byte 1.5*N으로 변환된다.
화소(N+1)에 대해서도 마찬가지로, 화소(N+1)의 화소치를 나타내는 Data[11]∼[0]의 12비트가 Data[11]∼[4]로 이루어지는 Byte 1.5*N+1로 변환된다. 또한, 화소(N)와 화소(N+1)의 각각의 하위의 비트인 Data[3]∼[0]가 모아져서 Byte 1.5*N+2로 변환된다. 각 화소의 화소치가 12비트로 표시되는 경우, Pixel to Byte 변환 후의 바이트 단위의 데이터의 수는, 화소의 수의 1.5배의 수가 된다.
도 12는, 각 화소의 화소치가 14비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면이다.
이 경우, 화소(N)의 화소치를 나타내는 Data[13]∼[0]의 14비트는, Data[13]∼[6]로 되는 Byte 1.75*N으로 변환된다.
화소(N+1∼N+3)에 대해서도 마찬가지로, 각각의 화소치를 나타내는 Data[13]∼[0]의 14비트가 Data[13]∼[6]이 되는 Byte 1.75*N+1∼Byte 1.75*N+3으로 변환된다. 또한, 화소(N∼N+3)의 비트중이 남았던 비트가 하위의 비트로부터 차례로 모아져서, 예를 들면, 화소(N)의 비트인 Data[5]∼[0]와, 화소(N+1)의 비트인 Data[5], [4]가 Byte 1.75*N+4로 변환된다.
마찬가지로, 화소(N+1)의 비트인 Data[3]∼[0]와, 화소(N+2)의 비트인 Data[5]∼[2]가 Byte 1.75*N+5로 변환되고, 화소(N+2)의 비트인 Data[1], [0]와, 화소(N+3)의 비트인 Data[5]∼[0]가 Byte 1.75*N+6으로 변환된다. 각 화소의 화소치가 14비트로 표시되는 경우, Pixel to Byte 변환 후의 바이트 단위의 데이터의 수는, 화소의 수의 1.75배의 수가 된다.
도 13은, 각 화소의 화소치가 16비트로 표시되는 경우의 Pixel to Byte 변환의 예를 도시하는 도면이다.
이 경우, 화소(N)의 화소치를 나타내는 Data[15]∼[0]의 1비트는, Data[15]∼[8]이 되는 Byte 2*N과 Data[7]∼[0]이 되는 Byte 2*N+1로 변환된다. 각 화소의 화소치가 16비트로 표시되는 경우, Pixel to Byte 변환 후의 바이트 단위의 데이터의 수는, 화소의 수의 2배의 수가 된다.
도 5의 Pixel to Byte 변환부(62)는, 이와 같은 Pixel to Byte 변환을 예를 들면 라인의 좌단의 화소부터 차례로 각 화소를 대상으로 하여 행한다. 또한, Pixel to Byte 변환부(62)는, Pixel to Byte 변환에 의해 얻어진 바이트 단위의 화소 데이터에, 데이터 삽입부(73)로부터 공급된 페이로드 스터핑 데이터를 부가함에 의해 페이로드 데이터를 생성하고, 페이로드 ECC 삽입부(63)에 출력한다.
도 14는, 페이로드 데이터의 예를 도시하는 도면이다.
도 14는, 각 화소의 화소치가 10비트로 표시되는 경우의 Pixel to Byte 변환에 의해 얻어진 화소 데이터를 포함하는 페이로드 데이터를 도시하고 있다. 색을 붙이지 않은 하나의 블록이, Pixel to Byte 변환 후의 바이트 단위의 화소 데이터를 나타낸다. 또한, 색을 붙이고 있는 하나의 블록이, 데이터 삽입부(73)에 의해 생성된 페이로드 스터핑 데이터를 나타낸다.
Pixel to Byte 변환 후의 화소 데이터는, 변환에 의해 얻어진 순서로, 소정의 수의 그룹으로 그룹화된다. 도 14의 예에서는, 각 화소 데이터가 그룹(0∼15)의 16그룹으로 그룹화되어 있고, 화소(P0)의 MSB를 포함하는 화소 데이터가 그룹(0)에 할당되고, 화소(P1)의 MSB를 포함하는 화소 데이터가 그룹(1)에 할당되어 있다. 또한, 화소(P2)의 MSB를 포함하는 화소 데이터가 그룹(2)에 할당되고, 화소(P3)의 MSB를 포함하는 화소 데이터가 그룹(3)에 할당되고, 화소(P0∼P3)의 LSB를 포함하는 화소 데이터가 그룹(4)에 할당되어 있다.
화소(P4)의 MSB를 포함하는 화소 데이터 이후의 화소 데이터에 대해서도, 그룹(5) 이후의 각 그룹에 차례로 할당된다. 어느 화소 데이터가 그룹(15)에 할당된 때, 그 이후의 화소 데이터는, 그룹(0) 이후의 각 그룹에 차례로 할당된다. 또한, 화소 데이터를 나타내는 블록 중, 3개의 파선이 내측에 붙여져 있는 블록은, Pixel to Byte 변환시에, 화소(N∼N+3)의 LSB를 포함하도록 하여 생성된 바이트 단위의 화소 데이터를 나타낸다.
송신부(22)의 링크 레이어에서는, 이와 같이 하여 그룹화가 행하여진 후, 클록 신호에 의해 규정되는 기간마다, 각 그룹에서 같은 위치에 있는 화소 데이터를 대상으로 하여 처리가 병행하여 행하여진다. 즉, 도 14에 도시하는 바와 같이 16의 그룹에 화소 데이터가 할당된 경우, 각 열에 나열하는 16의 화소 데이터를 같은 기간 내에 처리하도록 하여 화소 데이터의 처리가 진행된다.
상술한 바와 같이, 하나의 패킷의 페이로드에는 1라인의 화소 데이터가 포함된다. 도 14에 도시하는 화소 데이터 전체가 1라인을 구성하는 화소 데이터이다. 여기서는, 도 4의 유효 화소 영역(A1)의 화소 데이터의 처리에 관해 설명하고 있지만, 마진 영역(A2) 등의 다른 영역의 화소 데이터에 대해서도 유효 화소 영역(A1)의 화소 데이터와 함께 처리된다.
1라인분의 화소 데이터가 그룹화된 후, 각 그룹의 데이터 길이가 같은 길이가 되도록, 페이로드 스터핑 데이터가 부가된다. 페이로드 스터핑 데이터는 1바이트의 데이터이다.
도 14의 예에서는, 그룹(0)의 화소 데이터에는 페이로드 스터핑 데이터가 부가되지 않고, 파선으로 둘러싸서 도시하는 바와 같이 그룹(1∼15)의 각 화소 데이터에는, 종단에 페이로드 스터핑 데이터가 하나씩 부가되어 있다. 화소 데이터와 스터핑 데이터로 이루어지는 페이로드 데이터의 데이터 길이(Byte)는 하기 식(3)에 의해 표시된다.
[수식 3]
Figure 112019110892117-pct00003
식(3)의 LineLength는 라인의 화소수를 나타내고, BitPix는 1화소의 화소치를 나타내는 비트수를 나타낸다. PayloadStuffing은 페이로드 스터핑 데이터의 수를 나타낸다.
도 14에 도시하는 바와 같이 화소 데이터를 16그룹에 할당한다고 한 경우, 페이로드 스터핑 데이터의 수는 하기 식(4)에 의해 표시된다. 식(4)의 %는 잉여를 나타낸다.
[수식 4]
Figure 112019110892117-pct00004
도 15는, 페이로드 데이터의 다른 예를 도시하는 도면이다.
도 15는, 각 화소의 화소치가 12비트로 표시되는 경우의 Pixel to Byte 변환에 의해 얻어진 화소 데이터를 포함하는 페이로드 데이터를 도시하고 있다.
도 15의 예에서는, 화소(P0)의 MSB를 포함하는 화소 데이터가 그룹(0)에 할당되고, 화소(P1)의 MSB를 포함하는 화소 데이터가 그룹(1)에 할당되고, 화소(P0)와 화소(P1)의 LSB를 포함하는 화소 데이터가 그룹(2)에 할당되어 있다. 화소(P2)의 MSB를 포함하는 화소 데이터 이후의 화소 데이터에 대해서도, 그룹(3) 이후의 각 그룹에 차례로 할당된다. 화소 데이터를 나타내는 블록 중, 하나의 파선이 내측에 붙여져 있는 블록은, Pixel to Byte 변환시에, 화소(N)와 화소(N+1)의 LSB를 포함하도록 하여 생성된 바이트 단위의 화소 데이터를 나타낸다.
도 15의 예에서는, 그룹(0)과 그룹(1)의 화소 데이터에는 페이로드 스터핑 데이터가 부가되지 않고, 그룹(2∼15)의 각 화소 데이터에는, 종단에 페이로드 스터핑 데이터가 하나씩 부가되어 있다.
이와 같은 구성을 갖는 페이로드 데이터가 Pixel to Byte 변환부(62)로부터 페이로드 ECC 삽입부(63)에 공급된다.
페이로드 ECC 삽입부(63)는, Pixel to Byte 변환부(62)로부터 공급된 페이로드 데이터에 의거하여 페이로드 데이터의 오류 정정에 이용되는 오류 정정 부호를 계산하고, 계산에 의해 구한 오류 정정 부호인 패리티를 페이로드 데이터에 삽입한다. 오류 정정 부호로서, 예를 들면 리드솔로몬 부호가 이용된다. 또한, 오류 정정 부호의 삽입은 옵션이고, 예를 들면, 페이로드 ECC 삽입부(63)에 의한 패리티의 삽입과, 푸터 생성부(74)에 의한 푸터의 부가는 어느 일방만을 행하는 것이 가능하게 된다.
도 16은, 패리티가 삽입된 페이로드 데이터의 예를 도시하는 도면이다.
도 16에 도시하는 페이로드 데이터는, 도 15를 참조하여 설명한, 각 화소의 화소치가 12비트로 표시되는 경우의 Pixel to Byte 변환에 의해 얻어진 화소 데이터를 포함하는 페이로드 데이터이다. 사선을 붙여서 나타내는 블록이 패리티를 나타낸다.
도 16의 예에서는, 그룹(0∼15)의 각 그룹의 선두의 화소 데이터부터 차례로 14개 선택되고, 선택된 224(224바이트)개의 화소 데이터에 의거하여 2바이트의 패리티가 구하여져 있다. 2바이트의 패리티가 그 계산에 이용된 224개의 화소 데이터에 계속해서 그룹(0, 1)의 15번째의 데이터로서 삽입되고, 224개의 화소 데이터와 2바이트의 패리티로부터 1번째의 Basic Block이 형성된다.
이와 같이, 페이로드 ECC 삽입부(63)에서는, 기본적으로, 224개의 화소 데이터에 의거하여 2바이트의 패리티가 생성되고, 224개의 화소 데이터에 계속해서 삽입된다.
또한, 도 16의 예에서는, 1번째의 Basic Block에 계속된 224개의 화소 데이터가 각 그룹부터 차례로 선택되고, 선택된 224개의 화소 데이터에 의거하여 2바이트의 패리티가 구하여져 있다. 2바이트의 패리티가 그 계산에 이용된 224개의 화소 데이터에 계속해서 그룹(2, 3)의 29번째의 데이터로서 삽입되고, 224개의 화소 데이터와 2바이트의 패리티로부터 2번째의 Basic Block이 형성된다.
어느 Basic Block에 계속된 화소 데이터와 페이로드 스터핑 데이터의 수인 16×M이 224에 못 미친 경우, 남아 있는 16×M개의 블록(화소 데이터와 페이로드 스터핑 데이터)에 의거하여 2바이트의 패리티가 구하여진다. 또한, 구하여진 2바이트의 패리티가 페이로드 스터핑 데이터에 계속해서 삽입되고, 16×M개의 블록과 2바이트의 패리티로부터 Extra Block이 형성된다.
페이로드 ECC 삽입부(63)는, 패리티를 삽입한 페이로드 데이터를 패킷 생성부(64)에 출력한다. 패리티의 삽입이 행하여지지 않는 경우, Pixel to Byte 변환부(62)로부터 페이로드 ECC 삽입부(63)에 공급된 페이로드 데이터는, 그대로 패킷 생성부(64)에 출력된다.
패킷 생성부(64)는, 페이로드 ECC 삽입부(63)로부터 공급된 페이로드 데이터에, 헤더 생성부(72)에 의해 생성된 헤더를 부가함에 의해 패킷을 생성한다. 푸터 생성부(74)에 의해 푸터의 생성이 행하여지고 있는 경우, 패킷 생성부(64)는, 페이로드 데이터에 푸터를 부가하는 것도 행한다.
도 17은, 페이로드 데이터에 헤더를 부가한 상태를 도시하는 도면이다.
H7∼H0의 문자를 붙여서 나타내는 24개의 블록은, 헤더 정보, 또는 헤더 정보의 CRC 부호인, 바이트 단위의 헤더 데이터를 나타낸다. 도 6을 참조하여 설명한 바와 같이 하나의 패킷의 헤더에는, 헤더 정보와 CRC 부호의 조가 3조 포함된다.
예를 들면 헤더 데이터(H7∼H2)는 헤더 정보(6바이트)이고, 헤더 데이터(H1, H0)는 CRC 부호(2바이트)이다.
도 17의 예에서는, 그룹(0)의 페이로드 데이터에는 하나의 헤더 데이터(H7)가 부가되고, 그룹(1)의 페이로드 데이터에는 하나의 헤더 데이터(H6)가 부가되어 있다. 그룹(2)의 페이로드 데이터에는 하나의 헤더 데이터(H5)가 부가되고, 그룹(3)의 페이로드 데이터에는 하나의 헤더 데이터(H4)가 부가되어 있다. 그룹(4)의 페이로드 데이터에는 하나의 헤더 데이터(H3)가 부가되고, 그룹(5)의 페이로드 데이터에는 하나의 헤더 데이터(H2)가 부가되어 있다. 그룹(6)의 페이로드 데이터에는 하나의 헤더 데이터(H1)가 부가되고, 그룹7)의 페이로드 데이터에는 하나의 헤더 데이터(H0)가 부가되어 있다.
또한, 도 17의 예에서는, 그룹(8)의 페이로드 데이터에는 2개의 헤더 데이터(H7)가 부가되고, 그룹(9)의 페이로드 데이터에는 2개의 헤더 데이터(H6)가 부가되어 있다. 그룹(10)의 페이로드 데이터에는 2개의 헤더 데이터(H5)가 부가되고, 그룹(11)의 페이로드 데이터에는 2개의 헤더 데이터(H4)가 부가되어 있다. 그룹(12)의 페이로드 데이터에는 2개의 헤더 데이터(H3)가 부가되고, 그룹(13)의 페이로드 데이터에는 2개의 헤더 데이터(H2)가 부가되어 있다. 그룹(14)의 페이로드 데이터에는 2개의 헤더 데이터(H1)가 부가되고, 그룹(15)의 페이로드 데이터에는 2개의 헤더 데이터(H0)가 부가되어 있다.
도 18은, 페이로드 데이터에 헤더와 푸터를 부가한 상태를 도시하는 도면이다.
F3∼F0의 문자를 붙여서 나타내는 4개의 블록은, 푸터로서 생성된 4바이트의 CRC 부호인 푸터 데이터를 나타낸다. 도 18의 예에서는, 푸터 데이터(F3∼F0)가 그룹(0)부터 그룹(3)의 각각의 페이로드 데이터에 부가되어 있다.
도 19는, 패리티가 삽입된 페이로드 데이터에 헤더를 부가한 상태를 도시하는 도면이다.
도 19의 예에서는, 패리티가 삽입된 도 16의 페이로드 데이터에 대해, 도 17, 도 18의 경우와 마찬가지로 헤더 데이터(H7∼H0)가 부가되어 있다.
패킷 생성부(64)는, 이와 같이 하여 생성한 1패킷을 구성하는 데이터인 패킷 데이터를 레인 분배부(65)에 출력한다. 레인 분배부(65)에 대해서는, 헤더 데이터와 페이로드 데이터로 이루어지는 패킷 데이터, 헤더 데이터와 페이로드 데이터와 푸터 데이터로 이루어지는 패킷 데이터, 또는, 헤더 데이터와, 패리티가 삽입된 페이로드 데이터로 이루어지는 패킷 데이터가 공급되게 된다. 도 6의 패킷 구조는 논리적인 것이고, 링크 레이어 물리 레이어에서는, 도 6의 구조를 갖는 패킷의 데이터가 바이트 단위로 처리된다.
레인 분배부(65)는, 패킷 생성부(64)로부터 공급된 패킷 데이터를 선두의 데이터부터 차례로, Lane(0∼7) 중의 데이터 전송에 이용하는 각 레인에 할당한다.
도 20은, 패킷 데이터의 할당의 예를 도시하는 도면이다.
여기서는, 헤더 데이터와 페이로드 데이터와 푸터 데이터로 이루어지는 패킷 데이터(도 18)의 할당에 관해 설명한다. Lane(0∼7)의 8레인을 통하여 데이터 전송을 행하는 경우의 패킷 데이터의 할당의 예를 속이 하얀 화살표(#1)의 끝에 도시한다.
이 경우, 헤더 데이터(H7∼H0)의 3회 반복을 구성하는 각각의 헤더 데이터는, 선두의 헤더 데이터부터 차례로 Lane(0∼7)에 할당된다. 어느 헤더 데이터가 Lane(7)에 할당된 때, 그 이후의 헤더 데이터는, Lane(0) 이후의 각 레인에 차례로 할당된다. Lane(0∼7)의 각 레인에는 같은 헤더 데이터가 3개씩 할당되게 된다.
또한, 페이로드 데이터는, 선두의 페이로드 데이터부터 차례로 Lane(0∼7)에 할당된다. 어느 페이로드 데이터가 Lane(7)에 할당된 때, 그 이후의 페이로드 데이터는, Lane(0) 이후의 각 레인에 차례로 할당된다.
푸터 데이터(F3∼F0)는, 선두의 푸터 데이터부터 차례로 각 레인에 할당된다. 도 20의 예에서는, 페이로드 데이터를 구성하는 최후의 페이로드 스터핑 데이터가 Lane(7)에 할당되어 있고, 푸터 데이터(F3∼F0)가 Lane(0∼3)에 하나씩 할당되어 있다.
흑색을 붙여서 나타내는 블록은 데이터 삽입부(73)에 의해 생성된 레인 스터핑 데이터를 나타낸다. 레인 스터핑 데이터는, 1패킷분의 패킷 데이터가 각 레인에 할당된 후, 각 레인에 할당된 데이터 길이가 같은 길이가 되도록, 데이터의 수가 적은 레인에 할당된다. 레인 스터핑 데이터는 1바이트의 데이터이다. 도 20의 예에서는, 데이터의 할당 수가 적은 레인인 Lane(4∼7)에 대해, 레인 스터핑 데이터가 하나씩 할당되어 있다.
패킷 데이터가 헤더 데이터와 페이로드 데이터와 푸터 데이터로 이루어지는 경우의 레인 스터핑 데이터의 수는 하기 식(5)에 의해 표시된다.
[수식 5]
Figure 112019110892117-pct00005
식(5)의 LaneNum은 레인의 수를 나타내고, PayloadLength는 페이로드 데이터 길이(바이트)를 나타낸다. 또한, FooterLength는 푸터 길이(바이트)를 나타낸다.
또한, 패킷 데이터가 헤더 데이터와, 패리티가 삽입된 페이로드 데이터로 이루어지는 경우의 레인 스터핑 데이터의 수는 하기 식(6)에 의해 표시된다. 식(6)의 ParityLength는, 페이로드에 포함되는 패리티의 총 바이트수를 나타낸다.
[수식 6]
Figure 112019110892117-pct00006
Lane(0∼5)의 6레인을 통하여 데이터 전송을 행하는 경우의 패킷 데이터의 할당의 예를 속이 하얀 화살표(#2)의 끝에 도시한다.
이 경우, 헤더 데이터(H7∼H0)의 3회 반복을 구성하는 각각의 헤더 데이터는, 선두의 헤더 데이터부터 차례로 Lane(0∼5)에 할당된다. 어느 헤더 데이터가 Lane(5)에 할당된 때, 그 이후의 헤더 데이터는, Lane(0) 이후의 각 레인에 차례로 할당된다. Lane(0∼5)의 각 레인에는 4개씩 헤더 데이터가 할당되게 된다.
또한, 페이로드 데이터는, 선두의 페이로드 데이터부터 차례로 Lane(0∼5)에 할당된다. 어느 페이로드 데이터가 Lane(5)에 할당된 때, 그 이후의 페이로드 데이터는, Lane(0) 이후의 각 레인에 차례로 할당된다.
푸터 데이터(F3∼F0)는, 선두의 푸터 데이터부터 차례로 각 레인에 할당된다. 도 20의 예에서는, 페이로드 데이터를 구성하는 최후의 페이로드 스터핑 데이터가 Lane(1)에 할당되어 있고, 푸터 데이터(F3∼F0)가 Lane(2∼5)에 하나씩 할당되어 있다. Lane(0∼5)의 패킷 데이터의 수가 같은 수이기 때문에, 이 경우, 레인 스터핑 데이터는 이용되지 않는다.
Lane(0∼3)의 4레인을 통하여 데이터 전송을 행하는 경우의 패킷 데이터의 할당의 예를 속이 하얀 화살표(#3)의 끝에 도시한다.
이 경우, 헤더 데이터(H7∼H0)의 3회 반복을 구성하는 각각의 헤더 데이터는, 선두의 헤더 데이터부터 차례로 Lane(0∼3)에 할당된다. 어느 헤더 데이터가 Lane(3)에 할당된 때, 그 이후의 헤더 데이터는, Lane(0) 이후의 각 레인에 차례로 할당된다. Lane(0∼3)의 각 레인에는 6개씩 헤더 데이터가 할당되게 된다.
또한, 페이로드 데이터는, 선두의 페이로드 데이터부터 차례로 Lane(0∼3)에 할당된다. 어느 페이로드 데이터가 Lane(3)에 할당된 때, 그 이후의 페이로드 데이터는, Lane(0) 이후의 각 레인에 차례로 할당된다.
푸터 데이터(F3∼F0)는, 선두의 푸터 데이터부터 차례로 각 레인에 할당된다. 도 20의 예에서는, 페이로드 데이터를 구성하는 최후의 페이로드 스터핑 데이터가 Lane(3)에 할당되어 있고, 푸터 데이터(F3∼F0)가 Lane(0∼3)에 하나씩 할당되어 있다. Lane(0∼3)의 패킷 데이터의 수가 같은 수이기 때문에, 이 경우, 레인 스터핑 데이터는 이용되지 않는다.
레인 분배부(65)는, 이와 같이 하여 각 레인에 할당한 패킷 데이터를 물리 레이어에 출력한다. 이하, Lane(0∼7)의 8레인을 이용하여 데이터를 전송하는 경우에 관해 주로 설명하지만, 데이터 전송에 이용하는 레인의 수가 다른 수인 경우라도 같은 처리가 행하여진다.
[송신부(22)의 물리 레이어의 구성]
다음에, 송신부(22)의 물리 레이어의 구성에 관해 설명한다.
송신부(22)에는, 물리 레이어의 구성으로서, PHY-TX 상태 제어부(81), 클록 생성부(82), 신호 처리부(83-0 내지 83-N)가 마련된다. 신호 처리부(83-0)는, 제어 코드 삽입부(91), 8B10B 심볼 인코더(92), 동기부(93) 및 송신부(94)로 구성된다. 레인 분배부(65)로부터 출력된, Lane(0)에 할당된 패킷 데이터는 신호 처리부(83-0)에 입력되고, Lane(1)에 할당된 패킷 데이터는 신호 처리부(83-1)에 입력된다. 또한, Lane(N)에 할당된 패킷 데이터는 신호 처리부(83-N)에 입력된다.
이와 같이, 송신부(22)의 물리 레이어에는, 신호 처리부(83-0 내지 83-N)가 레인의 수와 같은 수만큼 마련되고, 각 레인을 통하여 전송하는 패킷 데이터의 처리가 신호 처리부(83-0 내지 83-N)의 각각에서 병행하여 행하여진다. 신호 처리부(83-0)의 구성에 관해 설명하지만, 신호 처리부(83-1 내지 83-N)도 같은 구성을 갖는다.
PHY-TX 상태 제어부(81)는, 신호 처리부(83-0 내지 83-N)의 각 부분을 제어한다. 예를 들면, 신호 처리부(83-0 내지 83-N)에 의해 행하여지는 각 처리의 타이밍이 PHY-TX 상태 제어부(81)에 의해 제어된다.
클록 생성부(82)는, 클록 신호를 생성하고, 신호 처리부(83-0 내지 83-N)의 각각의 동기부(93)에 출력한다.
신호 처리부(83-0)의 제어 코드 삽입부(91)는, 레인 분배부(65)로부터 공급된 패킷 데이터에 대해 제어 코드를 부가한다. 제어 코드는, 미리 준비된 복수종류의 심볼의 중에서 선택된 하나의 심볼에 의해, 또는 복수종류의 심볼의 조합에 의해 표시되는 코드이다. 제어 코드 삽입부(91)에 의해 삽입되는 각 심볼은 8비트의 데이터이다. 후단의 회로에서 8B10B 변환이 행하여짐에 의해, 제어 코드 삽입부(91)에 의해 삽입된 1심볼은 10비트의 데이터가 된다. 한편, 수신부(31)에서는 후술하는 바와 같이 수신 데이터에 대해 10B8B 변환이 행하여지는데, 수신 데이터에 포함되는 10B8B 변환 전의 각 심볼은 10비트의 데이터이고, 10B8B 변환 후의 각 심볼은 8비트의 데이터가 된다.
도 21은, 제어 코드 삽입부(91)에 의해 부가된 제어 코드의 예를 도시하는 도면이다.
제어 코드에는, Idle Code, Start Code, End Code, Pad Code, Sync Code, Deskew Code, Standby Code가 있다.
Idle Code는, 패킷 데이터의 전송시 이외의 기간에 반복 송신되는 심볼군이다. Idle Code는, 8B10B Code인 D Character의 D00.0(00000000)로 표시된다.
Start Code는, 패킷의 시작을 나타내는 심볼군이다. 상술한 바와 같이, Start Code는 패킷의 앞에 부가된다. Start Code는, 3종류의 K Character의 조합인 K28.5, K27.7, K28.2, K27.7의 4심볼로 표시된다. 각각의 K Character의 값을 도 22에 도시한다.
End Code는, 패킷의 종료를 나타내는 심볼군이다. 상술한 바와 같이, End Code는 패킷의 뒤에 부가된다. End Code는, 3종류의 K Character의 조합인 K28.5, K29.7, K30.7, K29.7의 4심볼로 표시된다.
Pad Code는, 화소 데이터 대역과 PHY 전송 대역의 차를 메우기 위해 페이로드 데이터 중에 삽입되는 심볼군이다. 화소 데이터 대역은, 촬상부(21)로부터 출력되고, 송신부(22)에 입력되는 화소 데이터의 전송 레이트이고, PHY 전송 대역은, 송신부(22)로부터 송신되고, 수신부(31)에 입력되는 화소 데이터의 전송 레이트이다. Pad Code는, 4종류의 K Character의 조합인 K23.7, K28.4, K28.6, K28.3의 4심볼로 표시된다.
도 23은, Pad Code의 삽입의 예를 도시하는 도면이다.
도 23의 상단은, Pad Code 삽입 전의 각 레인에 할당된 페이로드 데이터를 도시하고, 하단은, Pad Code 삽입 후의 페이로드 데이터를 도시한다. 도 23의 예에서는, 선두로부터 3번째의 화소 데이터와 4번째의 화소 데이터의 사이, 6번째의 화소 데이터와 7번째의 화소 데이터의 사이, 12번째의 화소 데이터와 13번째의 화소 데이터의 사이에 Pad Code가 삽입되어 있다. 이와 같이, Pad Code는, Lane(0∼7)의 각 레인의 페이로드 데이터의 같은 위치에 삽입된다.
Lane(0)에 할당된 페이로드 데이터에 대한 Pad Code의 삽입은 신호 처리부(83-0)의 제어 코드 삽입부(91)에 의해 행하여진다. 다른 레인에 할당된 페이로드 데이터에 대한 Pad Code의 삽입도 마찬가지로, 신호 처리부(83-1 내지 83-N)에서 각각 같은 타이밍에서 행하여진다. Pad Code의 수는, 화소 데이터 대역과 PHY 전송 대역의 차와, 클록 생성부(82)가 생성한 클록 신호의 주파수 등에 의거하여 결정된다.
이와 같이, Pad Code는, 화소 데이터 대역이 좁고, PHY 전송 대역이 넓은 경우에, 쌍방의 대역의 차를 조정하기 위해 삽입된다. 예를 들면, Pad Code가 삽입됨에 의해, 화소 데이터 대역과 PHY 전송 대역의 차가 일정한 범위 내에 들어가도록 조정된다.
도 21의 설명으로 되돌아와, Sync Code는, 송신부(22)-수신부(31) 사이의 비트 동기, 심볼 동기를 확보하기 위해 이용되는 심볼군이다. Sync Code는, K28.5, Any**의 2심볼로 표시된다. Any**은, 어느 종류의 심볼이 이용되어도 좋은 것을 나타낸다. Sync Code는, 예를 들면 송신부(22)-수신부(31) 사이에서 패킷 데이터의 전송이 시작되기 전의 트레이닝 모드시에 반복 송신된다.
Deskew Code는, 레인 사이의 Data Skew, 즉, 수신부(31)의 각 레인에서 수신되는 데이터의 수신 타이밍의 어긋남의 보정에 이용되는 심볼군이다. Deskew Code는, K28.5, Any**의 2심볼로 표시된다. Deskew Code를 이용한 레인 사이의 Data Skew의 보정에 관해서는 후술한다.
Standby Code는, 송신부(22)의 출력이 High-Z(하이 임피던스) 등의 상태가 되고, 데이터 전송이 행하여지지 않게 되는 것을 수신부(31)에 통지하기 위해 이용되는 심볼군이다. 즉, Standby Code는, 패킷 데이터의 전송을 종료하고, Standby 상태가 된 때에 수신부(31)에 대해 전송된다. Standby Code는, K28.5, Any**의 2심볼로 표시된다.
제어 코드 삽입부(91)는, 이와 같은 제어 코드를 부가한 패킷 데이터를 8B10B 심볼 인코더(92)에 출력한다.
도 24는, 제어 코드 삽입 후의 패킷 데이터의 예를 도시하는 도면이다.
도 24에 도시하는 바와 같이, 신호 처리부(83-0 내지 83-N)에서는, 각각, 패킷 데이터 앞에 Start Code가 부가되고, 페이로드 데이터에 Pad Code가 삽입된다. 패킷 데이터의 뒤에는 End Code가 부가되고, End Code의 뒤에 Deskew Code가 부가된다. 도 24의 예에서는, Deskew Code의 뒤에 Idle Code가 부가되어 있다.
8B10B 심볼 인코더(92)는, 제어 코드 삽입부(91)로부터 공급된 패킷 데이터(제어 코드가 부가된 패킷 데이터)에 대해 8B10B 변환을 시행하여 10비트 단위의 데이터로 변환한 패킷 데이터를 동기부(93)에 출력한다.
동기부(93)는, 8B10B 심볼 인코더(92)로부터 공급된 패킷 데이터의 각 비트를 클록 생성부(82)에 의해 생성된 클록 신호에 따라 송신부(94)에 출력한다. 또한, 송신부(22)에 동기부(93)가 마련되지 않도록 하여도 좋다. 이 경우, 8B10B 심볼 인코더(92)로부터 출력된 패킷 데이터는, 송신부(94)에 그대로 공급된다.
송신부(94)는, Lane(0)을 구성하는 전송로를 통하여 동기부(93)로부터 공급된 패킷 데이터를 수신부(31)에 송신한다. 8레인을 통하여 데이터 전송이 행하여지는 경우, Lane(1∼7)을 구성하는 전송로도 이용하여 패킷 데이터가 수신부(31)에 송신된다.
[수신부(31)의 물리 레이어의 구성]
다음에, 수신부(31)의 물리 레이어의 구성에 관해 설명한다.
수신부(31)에는, 물리 레이어의 구성으로서, PHY-RX 상태 제어부(101), 신호 처리부(102-0 내지 102-N)가 마련된다. 신호 처리부(102-0)는, 수신부(111), 클록 생성부(112), 동기부(113), 심볼 동기부(114), 10B8B 심볼 디코더(115), 스큐 보정부(116) 및 제어 코드 제거부(117)로 구성된다. Lane(0)을 구성하는 전송로를 통하여 송신되어 온 패킷 데이터는 신호 처리부(102-0)에 입력되고, Lane(1)을 구성하는 전송로를 통하여 송신되어 온 패킷 데이터는 신호 처리부(102-1)에 입력된다. 또한, Lane(N)을 구성하는 전송로를 통하여 송신되어 온 패킷 데이터는 신호 처리부(102-N)에 입력된다.
이와 같이, 수신부(31)의 물리 레이어에는, 신호 처리부(102-0 내지 102-N)가 레인의 수와 같은 수만큼 마련되고, 각 레인을 통하여 전송되어 온 패킷 데이터의 처리가 신호 처리부(102-0 내지 102-N)의 각각에서 병행하여 행하여진다. 신호 처리부(102-0)의 구성에 관해 설명하지만, 신호 처리부(102-1 내지 102-N)도 같은 구성을 갖는다.
수신부(111)는, Lane(0)을 구성하는 전송로를 통하여 송신부(22)로부터 전송되어 온 패킷 데이터를 나타내는 신호를 수신하고, 클록 생성부(112)에 출력한다.
클록 생성부(112)는, 수신부(111)로부터 공급된 신호의 에지를 검출함에 의해 비트 동기를 취하고, 에지의 검출 주기에 의거하여 클록 신호를 생성한다. 클록 생성부(112)는, 수신부(111)로부터 공급된 신호를 클록 신호와 함께 동기부(113)에 출력한다.
동기부(113)는, 클록 생성부(112)에 의해 생성된 클록 신호에 따라, 수신부(111)에서 수신된 신호의 샘플링을 행하고, 샘플링에 의해 얻어진 패킷 데이터를 심볼 동기부(114)에 출력한다. 클록 생성부(112)와 동기부(113)에 의해 CDR(Clock Data Recovery)의 기능이 실현된다.
심볼 동기부(114)는, 패킷 데이터에 포함되는 제어 코드를 검출함에 의해, 또는 제어 코드에 포함되는 일부의 심볼을 검출함에 의해 심볼 동기를 취한다. 예를 들면, 심볼 동기부(114)는, Start Code, End Code, Deskew Code에 포함되는 K28.5의 심볼을 검출하고, 심볼 동기를 취한다. 심볼 동기부(114)는, 각 심볼을 나타내는 10비트 단위의 패킷 데이터를 10B8B 심볼 디코더(115)에 출력한다.
또한, 심볼 동기부(114)는, 패킷 데이터의 전송이 시작되기 전의 트레이닝 모드시에 송신부(22)로부터 반복 송신되어 오는 Sync Code에 포함되는 심볼의 경계를 검출함에 의해 심볼 동기를 취한다.
10B8B 심볼 디코더(115)는, 심볼 동기부(114)로부터 공급된 10비트 단위의 패킷 데이터에 대해 10B8B 변환을 시행하여 8비트 단위의 데이터로 변환한 패킷 데이터를 스큐 보정부(116)에 출력한다.
스큐 보정부(116)는, 10B8B 심볼 디코더(115)로부터 공급된 패킷 데이터부터 Deskew Code를 검출한다. 스큐 보정부(116)에 의한 Deskew Code의 검출 타이밍의 정보는 PHY-RX 상태 제어부(101)에 공급된다.
또한, 스큐 보정부(116)는, Deskew Code의 타이밍을, PHY-RX 상태 제어부(101)로부터 공급된 정보에 의해 표시되는 타이밍에 맞추도록 하여 레인 사이의 Data Skew를 보정한다. PHY-RX 상태 제어부(101)로부터는, 신호 처리부(102-0 내지 102-N)의 각각에서 검출된 Deskew Code의 타이밍 중, 가장 느린 타이밍을 나타내는 정보가 공급되어 온다.
도 25는, Deskew Code를 이용한 레인 사이의 Data Skew의 보정의 예를 도시하는 도면이다.
도 25의 예에서는, Lane(0∼7)의 각 레인에서, Sync Code, Sync Code, …, Idle Code, Deskew Code, Idle Code, …, Idle Code, Deskew Code의 전송이 행하여지고, 각각의 제어 코드가 수신부(31)에서 수신되어 있다. 같은 제어 코드의 수신 타이밍이 레인마다 다르고, 레인 사이의 Data Skew가 생기고 있는 상태가 되어 있다.
이 경우, 스큐 보정부(116)는, 1번째의 Deskew Code인 Deskew Code C1을 검출하고, Deskew Code C1의 선두의 타이밍을, PHY-RX 상태 제어부(101)로부터 공급된 정보에 의해 표시되는 시각(t1)에 맞추도록 보정한다. PHY-RX 상태 제어부(101)로부터는, Lane(0∼7)의 각 레인에서 Deskew Code C1이 검출된 타이밍 중, 가장 느린 타이밍인 Lane(7)에서 Deskew Code C1이 검출된 시각(t1)의 정보가 공급되어 온다.
또한, 스큐 보정부(116)는, 2번째의 Deskew Code인 Deskew Code C2를 검출하고, Deskew Code C2의 선두의 타이밍을, PHY-RX 상태 제어부(101)로부터 공급된 정보에 의해 표시되는 시각(t2)에 맞추도록 보정한다. PHY-RX 상태 제어부(101)로부터는, Lane(0∼7)의 각 레인에서 Deskew Code C2가 검출된 타이밍 중, 가장 느린 타이밍인 Lane(7)에서 Deskew Code C2가 검출된 시각(t2)의 정보가 공급되어 온다.
신호 처리부(102-1 내지 102-N)의 각각에서 같은 처리가 행하여짐에 의해, 도 25의 화살표(#1)의 끝에 도시하는 바와 같이 레인 사이의 Data Skew가 보정된다.
스큐 보정부(116)는, Data Skew를 보정한 패킷 데이터를 제어 코드 제거부(117)에 출력한다.
제어 코드 제거부(117)는, 패킷 데이터에 부가된 제어 코드를 제거하고, Start Code부터 End Code까지 사이의 데이터를 패킷 데이터로서 링크 레이어에 출력한다.
PHY-RX 상태 제어부(101)는, 신호 처리부(102-0 내지 102-N)의 각 부분을 제어하고, 레인 사이의 Data Skew의 보정 등을 행하게 한다. 또한, PHY-RX 상태 제어부(101)는, 소정의 레인에서 전송 에러가 일어나 제어 코드가 소실된 경우, 소실된 제어 코드에 대신하여 다른 레인에서 전송되어 온 제어 코드를 부가함에 의해 제어 코드의 오류 정정을 행한다.
[수신부(31)의 링크 레이어의 구성]
다음에, 수신부(31)의 링크 레이어의 구성에 관해 설명한다.
수신부(31)에는, 링크 레이어의 구성으로서, LINK-RX 프로토콜 관리부(121), 레인 통합부(122), 패킷 분리부(123), 페이로드 에러 정정부(124) 및 Byte to Pixel 변환부(125)가 마련된다. LINK-RX 프로토콜 관리부(121)는, 상태 제어부(131), 헤더 에러 정정부(132), 데이터 제거부(133) 및 푸터 에러 검출부(134)로 구성된다.
레인 통합부(122)는, 물리 레이어의 신호 처리부(102-0 내지 102-N)로부터 공급된 패킷 데이터를 송신부(22)의 레인 분배부(65)에 의한 각 레인에의 분배순과 역순으로 재배열함에 의해 통합한다.
예를 들면, 레인 분배부(65)에 의한 패킷 데이터의 분배가 도 20의 화살표(#1)의 끝에 도시하는 바와 같이 하여 행하여지고 있는 경우, 각 레인의 패킷 데이터의 통합이 행하여짐에 의해 도 20의 좌측의 패킷 데이터가 취득된다. 각 레인의 패킷 데이터의 통합시, 데이터 제거부(133)에 의한 제어에 따라, 레인 스터핑 데이터가 레인 통합부(122)에 의해 제거된다. 레인 통합부(122)는, 통합한 패킷 데이터를 패킷 분리부(123)에 출력한다.
패킷 분리부(123)는, 레인 통합부(122)에 의해 통합된 1패킷분의 패킷 데이터를 헤더 데이터를 구성하는 패킷 데이터와 페이로드 데이터를 구성하는 패킷 데이터로 분리한다. 패킷 분리부(123)는, 헤더 데이터를 헤더 에러 정정부(132)에 출력하고, 페이로드 데이터를 페이로드 에러 정정부(124)에 출력한다.
또한, 패킷 분리부(123)는, 패킷에 푸터가 포함되어 있는 경우, 1패킷분의 데이터를 헤더 데이터를 구성하는 패킷 데이터와 페이로드 데이터를 구성하는 패킷 데이터와 푸터 데이터를 구성하는 패킷 데이터로 분리한다. 패킷 분리부(123)는, 헤더 데이터를 헤더 에러 정정부(132)에 출력하고, 페이로드 데이터를 페이로드 에러 정정부(124)에 출력한다. 또한, 패킷 분리부(123)는, 푸터 데이터를 푸터 에러 검출부(134)에 출력한다.
페이로드 에러 정정부(124)는, 패킷 분리부(123)로부터 공급된 페이로드 데이터에 패리티가 삽입되어 있는 경우, 패리티에 의거하여 오류 정정 연산을 행함에 의해 페이로드 데이터의 에러를 검출하고, 검출한 에러의 정정을 행한다. 예를 들면, 도 16에 도시하는 바와 같이 하여 패리티가 삽입되어 있는 경우, 페이로드 에러 정정부(124)는, 1번째의 Basic Block의 최후에 삽입되어 있는 2개의 패리티를 이용하여 패리티의 앞에 있는 224개의 화소 데이터의 오류 정정을 행한다.
페이로드 에러 정정부(124)는, 각 Basic Block, Extra Block를 대상으로 하여 오류 정정을 행함에 의해 얻어진 오류 정정 후의 화소 데이터를 Byte to Pixel 변환부(125)에 출력한다. 패킷 분리부(123)로부터 공급된 페이로드 데이터에 패리티가 삽입되지 않은 경우, 패킷 분리부(123)로부터 공급된 페이로드 데이터는 그대로 Byte to Pixel 변환부(125)에 출력된다.
Byte to Pixel 변환부(125)는, 페이로드 에러 정정부(124)로부터 공급된 페이로드 데이터에 포함되는 페이로드 스터핑 데이터를 데이터 제거부(133)에 의한 제어에 따라 제거한다.
또한, Byte to Pixel 변환부(125)는, 페이로드 스터핑 데이터를 제거하여 얻어진 바이트 단위의 각 화소의 데이터를 8비트, 10비트, 12비트, 14비트, 또는 1비트 단위의 화소 데이터로 변환하는 Byte to Pixel 변환을 행한다. Byte to Pixel 변환부(125)에서는, 도 9 내지 도 13을 참조하여 설명한, 송신부(22)의 Pixel to Byte 변환부(62)에 의한 Pixel to Byte 변환과 반대의 변환이 행하여진다.
Byte to Pixel 변환부(125)는, Byte to Pixel 변환에 의해 얻어진 8비트, 10비트, 12비트, 14비트, 또는 1비트 단위의 화소 데이터를 프레임 데이터 출력부(141)에 출력한다. 프레임 데이터 출력부(141)에서는, 예를 들면, 헤더 정보의 Line Valid에 의해 특정된 유효 화소의 각 라인이 Byte to Pixel 변환부(125)에 의해 얻어진 화소 데이터에 의거하여 생성되고, 헤더 정보의 Line Number에 따라 각 라인이 나열됨에 의해 1프레임의 화상이 생성된다.
LINK-RX 프로토콜 관리부(121)의 상태 제어부(131)는, 수신부(31)의 링크 레이어의 상태를 관리한다.
헤더 에러 정정부(132)는, 패킷 분리부(123)로부터 공급된 헤더 데이터에 의거하여 헤더 정보와 CRC 부호의 조를 3조 취득한다. 헤더 에러 정정부(132)는, 헤더 정보와 CRC 부호의 조의 각 조를 대상으로 하여 헤더 정보의 에러를 검출하기 위한 연산인 오류 검출 연산을, 그 헤더 정보와 같은 조의 CRC 부호를 이용하여 행한다.
또한, 헤더 에러 정정부(132)는, 각각의 조의 헤더 정보의 오류 검출 결과와, 오류 검출 연산에 의해 구하여진 데이터의 비교 결과 중의 적어도 어느 하나에 의거하여 올바른 헤더 정보를 추측하고, 올바르다고 추측한 헤더 정보와 복호 결과를 출력한다. 오류 검출 연산에 의해 구하여진 데이터는, 헤더 정보에 CRC의 생성다항식을 적용함에 의해 구하여진 값이다. 또한, 복호 결과는, 복호 성공 또는 복호 실패를 나타내는 정보이다.
헤더 정보와 CRC 부호의 3개의 조를 각각 조(1), 조(2), 조(3)로 한다. 이 경우, 헤더 에러 정정부(132)는, 조(1)를 대상으로 한 오류 검출 연산에 의해, 조(1)의 헤더 정보에 에러가 있는지의 여부(오류 검출 결과)와, 오류 검출 연산에 의해 구하여진 데이터인 데이터(1)를 취득한다. 또한, 헤더 에러 정정부(132)는, 조(2)를 대상으로 한 오류 검출 연산에 의해, 조(2)의 헤더 정보에 에러가 있는지의 여부와, 오류 검출 연산에 의해 구하여진 데이터인 데이터(2)를 취득한다. 헤더 에러 정정부(132)는, 조(3)를 대상으로 한 오류 검출 연산에 의해, 조(3)의 헤더 정보에 에러가 있는지의 여부와, 오류 검출 연산에 의해 구하여진 데이터인 데이터(3)를 취득한다.
또한, 헤더 에러 정정부(132)는, 데이터(1)와 데이터(2)가 일치하는지의 여부, 데이터(2)와 데이터(3)가 일치하는지의 여부, 데이터(3)와 데이터(1)가 일치하는지의 여부를 각각 판정한다.
예를 들면, 헤더 에러 정정부(132)는, 조(1), 조(2), 조(3)를 대상으로 한 어느 오류 검출 연산에 의해서도 오류가 검출되지 않고, 오류 검출 연산에 의해 구하여진 데이터의 어느 비교 결과도 일치한 경우, 복호 결과로서, 복호 성공을 나타내는 정보를 선택한다. 또한, 헤더 에러 정정부(132)는, 어느 헤더 정보도 올바르다고 추측하고, 조(1)의 헤더 정보, 조(2)의 헤더 정보, 조(3)의 헤더 정보 중의 어느 하나를 출력 정보로서 선택한다.
한편, 헤더 에러 정정부(132)는, 조(1)를 대상으로 한 오류 검출 연산만에서 오류가 검출되지 않은 경우, 복호 결과로서, 복호 성공을 나타내는 정보를 선택함과 함께, 조(1)의 헤더 정보가 올바르다고 추측하고, 조(1)의 헤더 정보를 출력 정보로서 선택한다.
또한, 헤더 에러 정정부(132)는, 조(2)를 대상으로 한 오류 검출 연산만에서 오류가 검출되지 않은 경우, 복호 결과로서, 복호 성공을 나타내는 정보를 선택함과 함께, 조(2)의 헤더 정보가 올바르다고 추측하고, 조(2)의 헤더 정보를 출력 정보로서 선택한다.
헤더 에러 정정부(132)는, 조(3)를 대상으로 한 오류 검출 연산만에서 오류가 검출되지 않은 경우, 복호 결과로서, 복호 성공을 나타내는 정보를 선택함과 함께, 조(3)의 헤더 정보가 올바르다고 추측하고, 조(3)의 헤더 정보를 출력 정보로서 선택한다.
헤더 에러 정정부(132)는, 이상과 같이 하여 선택한 복호 결과와 출력 정보를 레지스터(142)에 출력하고, 기억시킨다. 이와 같이, 헤더 에러 정정부(132)에 의한 헤더 정보의 오류 정정은, 복수의 헤더 정보의 중에서, 에러가 없는 헤더 정보를 CRC 부호를 이용하여 검출하고, 검출하는 헤더 정보를 출력하도록 하여 행하여진다.
데이터 제거부(133)는, 레인 통합부(122)를 제어하여 레인 스터핑 데이터를 제거하고, Byte to Pixel 변환부(125)를 제어하여 페이로드 스터핑 데이터를 제거한다.
푸터 에러 검출부(134)는, 패킷 분리부(123)로부터 공급된 푸터 데이터에 의거하여 푸터에 격납되는 CRC 부호를 취득한다. 푸터 에러 검출부(134)는, 취득한 CRC 부호를 이용하여 오류 검출 연산을 행하고, 페이로드 데이터의 에러를 검출한다. 푸터 에러 검출부(134)는, 오류 검출 결과를 출력하고, 레지스터(142)에 기억시킨다.
[이미지 센서(11)와 DSP(12)의 동작]
다음에, 이상과 같은 구성을 갖는 송신부(22)와 수신부(31)의 일련의 처리에 관해 설명한다.
우선, 도 26의 플로우 차트를 참조하여 전송 시스템(1)을 갖는 촬상 장치의 동작에 관해 설명한다. 도 26의 처리는, 예를 들면, 촬상 장치에 마련된 셔터 버튼이 눌러지는 등으로 촬상의 시작이 지시된 때에 시작된다.
스텝 S1에서, 이미지 센서(11)의 촬상부(21)는 촬상을 행한다. 촬상부(21)의 프레임 데이터 입력부(52)(도 5)는, 촬상에 의해 얻어진 1프레임의 화상을 구성하는 화소 데이터를 1화소의 데이터씩 차례로 출력한다.
스텝 S2에서, 송신부(22)에 의해 데이터 송신 처리가 행하여진다. 데이터 송신 처리에 의해, 1라인분의 화소 데이터를 페이로드에 격납한 패킷이 생성되고, 패킷을 구성하는 패킷 데이터가 수신부(31)에 대해 송신된다. 데이터 송신 처리에 관해서는 도 27의 플로우 차트를 참조하여 후술한다.
스텝 S3에서, 수신부(31)에 의해 데이터 수신 처리가 행하여진다. 데이터 수신 처리에 의해, 송신부(22)로부터 송신되어 온 패킷 데이터가 수신되고, 페이로드에 격납되어 있는 화소 데이터가 화상 처리부(32)에 출력된다. 데이터 수신 처리에 관해서는 도 28의 플로우 차트를 참조하여 후술한다.
스텝 S2에서 송신부(22)에 의해 행하여지는 데이터 송신 처리와, 스텝 S3에서 수신부(31)에 의해 행하여지는 데이터 수신 처리는, 1라인분의 화소 데이터를 대상으로 하여 교대로 행하여진다. 즉, 어느 1라인의 화소 데이터가 데이터 송신 처리에 의해 송신된 때, 데이터 수신 처리가 행하여지고, 데이터 수신 처리에 의해 1라인의 화소 데이터가 수신된 때, 다음 1라인의 화소 데이터를 대상으로 하여 데이터 송신 처리가 행하여진다. 송신부(22)에 의한 데이터 송신 처리와, 수신부(31)에 의한 데이터 수신 처리는, 적절히, 시간적으로 병행하여 행하여지는 일도 있다. 스텝 S4에서, 화상 처리부(32)의 프레임 데이터 출력부(141)는, 1프레임의 화상을 구성하는 모든 라인의 화소 데이터의 송수신이 종료하였는지의 여부를 판정하고, 종료하지 않았다고 판정한 경우, 스텝 S2 이후의 처리를 반복하여 행하게 한다.
1프레임의 화상을 구성하는 모든 라인의 화소 데이터의 송수신이 종료하였다고 스텝 S4에서 판정한 경우, 스텝 S5에서, 화상 처리부(32)의 프레임 데이터 출력부(141)는, 수신부(31)로부터 공급된 화소 데이터에 의거하여 1프레임의 화상을 생성한다.
스텝 S6에서, 화상 처리부(32)는, 1프레임의 화상을 이용하여 화상 처리를 행하고, 처리를 종료시킨다.
다음에, 도 27의 플로우 차트를 참조하여 도 26의 스텝 S2에서 행하여지는 데이터 송신 처리에 관해 설명한다.
스텝 S11에서, 헤더 생성부(72)는, Frame Start, Frame End, Line Valid, Line Number, Reserved로 이루어지는 헤더 정보를 생성한다.
스텝 S12에서, 헤더 생성부(72)는, 헤더 정보를 생성다항식에 적용하여 CRC 부호를 계산한다.
스텝 S13에서, 헤더 생성부(72)는, 헤더 정보에 CRC 부호를 부가함에 의해 헤더 정보와 CRC 부호의 조를 생성하고, 같은 헤더 정보와 CRC 부호의 조를 3조 반복하여 배치함에 의해 헤더를 생성한다.
스텝 S14에서, Pixel to Byte 변환부(62)는, 프레임 데이터 입력부(52)로부터 공급된 화소 데이터를 취득하고, Pixel to Byte 변환을 행한다. Pixel to Byte 변환부(62)는, Pixel to Byte 변환에 의해 얻어진 바이트 단위의 화소 데이터의 그룹화, 페이로드 스터핑 데이터의 부가 등을 행함에 의해 생성한 페이로드 데이터를 출력한다. 페이로드 데이터에 대해서는, 적절히, 페이로드 ECC 삽입부(63)에 의해 패리티가 삽입된다.
스텝 S15에서, 패킷 생성부(64)는, 1라인분의 화소 데이터를 포함하는 페이로드 데이터와, 헤더 생성부(72)에 의해 생성된 헤더에 의거하여 패킷을 생성하고, 1패킷을 구성하는 패킷 데이터를 출력한다.
스텝 S16에서, 레인 분배부(65)는, 패킷 생성부(64)로부터 공급된 패킷 데이터를 데이터 전송에 이용되는 복수의 레인에 할당한다.
스텝 S17에서, 제어 코드 삽입부(91)는, 레인 분배부(65)로부터 공급된 패킷 데이터에 제어 코드를 부가한다.
스텝 S18에서, 8B10B 심볼 인코더(92)는, 제어 코드가 부가된 패킷 데이터의 8B10B 변환을 시행하고, 10비트 단위의 데이터로 변환한 패킷 데이터를 출력한다.
스텝 S19에서, 동기부(93)는, 8B10B 심볼 인코더(92)로부터 공급된 패킷 데이터를 클록 생성부(82)에 의해 생성된 클록 신호에 따라 출력하고, 송신부(94)로부터 송신시킨다. 스텝 S17 내지 S19의 처리는 신호 처리부(83-0 내지 83-N)에 의해 병행하여 행하여진다. 1라인분의 화소 데이터의 송신이 종료한 때, 도 26의 스텝 S2로 되돌아와 그 이후의 처리가 행하여진다.
다음에, 도 28의 플로우 차트를 참조하여 도 26의 스텝 S3에서 행하여지는 데이터 수신 처리에 관해 설명한다.
스텝 S31에서, 수신부(111)는, 송신부(22)로부터 전송되어 온 패킷 데이터를 나타내는 신호를 수신한다. 스텝 S31 내지 S36의 처리는 신호 처리부(102-0 내지 102-N)에 의해 병행하여 행하여진다.
스텝 S32에서, 클록 생성부(112)는, 수신부(111)로부터 공급된 신호의 에지를 검출함에 의해 비트 동기를 취한다. 동기부(113)는, 수신부(111)에서 수신된 신호의 샘플링을 행하고, 패킷 데이터를 심볼 동기부(114)에 출력한다.
스텝 S33에서, 심볼 동기부(114)는, 패킷 데이터에 포함되는 제어 코드를 검출하는 등으로 심볼 동기를 취한다.
스텝 S34에서, 10B8B 심볼 디코더(115)는, 심볼 동기 후의 패킷 데이터에 대해 10B8B 변환을 시행하여 8비트 단위의 데이터로 변환한 패킷 데이터를 출력한다.
스텝 S35에서, 스큐 보정부(116)는, Deskew Code를 검출하고, 상술한 바와 같이, Deskew Code의 타이밍을 PHY-RX 상태 제어부(101)로부터 공급된 정보에 의해 표시되는 타이밍에서 맞추도록 하여 레인 사이의 Data Skew를 보정한다.
스텝 S36에서, 제어 코드 제거부(117)는, 패킷 데이터에 부가된 제어 코드를 제거한다.
스텝 S37에서, 레인 통합부(122)는, 신호 처리부(102-0 내지 102-N)로부터 공급된 패킷 데이터를 통합한다.
스텝 S38에서, 패킷 분리부(123)는, 레인 통합부(122)에 의해 통합된 패킷 데이터를 헤더 데이터를 구성하는 패킷 데이터와 페이로드 데이터를 구성하는 패킷 데이터로 분리한다.
스텝 S39에서, 헤더 에러 정정부(132)는, 패킷 분리부(123)에 의해 분리된 헤더 데이터에 포함되는 헤더 정보와 CRC 부호의 각 조를 대상으로 하여 CRC 부호를 이용한 오류 검출 연산을 행한다. 또한, 헤더 에러 정정부(132)는, 각 조의 오류 검출 결과와, 오류 검출 연산에 의해 구하여진 데이터의 비교 결과에 의거하여 에러가 없는 헤더 정보를 선택하고, 출력한다.
스텝 S40에서, Byte to Pixel 변환부(125)는, 페이로드 데이터의 Byte to Pixel 변환을 행하여 8비트, 10비트, 12비트, 14비트, 또는 1비트 단위의 화소 데이터를 출력한다. Byte to Pixel 변환의 대상이 되는 페이로드 데이터에 대해서는, 적절히, 패리티를 이용한 오류 정정이 페이로드 에러 정정부(124)에 의해 행하여진다.
1라인분의 화소 데이터의 처리가 종료한 때, 도 26의 스텝 S3으로 되돌아와 그 이후의 처리가 행하여진다.
이미지 센서(11)와 DSP(12)의 사이에서의 데이터 전송은, 이상과 같이, 1프레임의 1라인이 1패킷에 상당하는 패킷 포맷을 이용하여 행하여진다.
이미지 센서(11)와 DSP(12) 사이의 데이터 전송에 이용되는 패킷 포맷은, 헤더 정보나, Start Code, End Code 등의 패킷 경계를 나타내는 제어 코드의 전송을 최소한으로 억제하는 포맷이라고 말하고, 전송 효율의 저하를 막는 것이 가능해진다. 가령, 1패킷의 페이로드에 격납되는 화소 데이터가 1라인보다 적은 패킷 포맷을 채용한 경우, 1프레임 전체의 화소 데이터를 전송하기 위해서는 보다 많은 패킷을 전송할 필요가 있고, 전송하는 헤더 정보나 제어 코드의 수가 많아지는 분만큼, 전송 효율이 저하되어 버린다.
또한, 전송 효율의 저하를 막음에 의해 전송 대기시간을 억제하는 것이 가능해지고, 대량의 화상 데이터를 고속으로 전송할 필요가 있는 고화소·고프레임 레이트의 인터페이스를 실현할 수 있다.
전송의 신뢰도/용장도를 올려서 수신부(31)측에서 오류 정정을 행하는 것을 전제로 한 패킷 포맷을 채용함에 의해, 헤더 정보의 전송 에러 대책을 확보하는 것이 가능해진다. Frame/Line(V/H)의 동기 정보 등의 전송이 헤더 정보를 이용하여 행하여지기 때문에, 헤더 정보가 전송 에러로 소실되면, 시스템상, 큰 부적합함이 될 가능성이 있지만, 그와 같은 것을 막을 수 있다.
또한, 헤더 정보의 전송 에러 대책을 확보하기 위한 실장(實裝) 비용이나 소비 전력의 증대를 억제할 수도 있다. 즉, 이미지 센서(11)와 DSP(12) 사이의 데이터 전송에 이용되는 패킷 포맷은, CRC 부호가 부가되어 있음으로써, 헤더 정보의 전송 에러의 유무를 DSP(12)에서 검출할 수 있도록 되어 있다. 또한, 헤더 정보와 CRC 부호의 조를 3조 전송함으로써, 헤더 정보의 전송 에러가 생긴 경우에 DSP(12)에서 올바른 헤더 정보로 정정할 수 있도록 되어 있다.
가령, 헤더 정보의 전송 에러 대책으로서 오류 정정 부호를 이용한다고 한 경우, 오류 정정 부호의 계산을 행하는 회로를 송신부(22)에 준비함과 함께, 오류 정정 연산을 행하는 회로를 수신부(31)에 준비할 필요가 있게 된다. 헤더 정보에 부가되는 것은 오류 검출 부호인 CRC 부호이기 때문에, 오류 정정에 관한 연산을 행하는 회로를 준비하는 경우에 비하여 회로 규모, 소비 전력을 작게 할 수 있다. 또한, 헤더 정보의 오류를 검출한 경우에 헤더 정보의 재발송을 수신부(31)가 송신부(22)에 대해 요구하는 것도 행하여지지 않기 때문에, 재발송 요구를 위한 역방향의 전송로를 준비할 필요가 없다.
용장도를 올려서, 8B10B 코드의 복수의 K Character를 조합시켜서 제어 코드를 구성함에 의해, 제어 코드의 에러 확률을 저감시킬 수 있고, 이에 의해, 비교적 간단한 회로에서 제어 코드의 전송 에러 대책을 확보하는 것이 가능해진다.
구체적으로는, Start Code에는 3종류의 K Character를 4심볼 조합시켜서 이용하고 있는데, 적어도 K28.5 이외의 심볼을 검출할 수 있다면 수신부(31)에서 Start Code를 특정할 수가 있어서, 전송 에러에 대한 내성이 높다고 말할 수 있다. End Code에 대해서도 마찬가지이다.
또한, Pad Code에 4종류의 K Character를 조합시켜서 이용하고 있는데, 다른 제어 코드보다 많은 종류의 K Character를 할당함에 의해, 다른 제어 코드보다 에러 내성을 올리는 것이 가능해진다. 즉, 4종류 중의 1종류의 심볼을 검출할 수 있으면 수신부(31)에서 Pad Code를 특정할 수 있다. Pad Code는, 전송 빈도가 Start Code나 End Code 등 보다도 높기 때문에, 보다 에러 내성을 올릴 수 있는 구조를 갖게 하고 있다.
또한, 레인마다, 같은 제어 코드를 같은 타이밍에서 전송함에 의해, 하나의 레인에서 전송 에러가 일어나 제어 코드가 소실된 경우에도, 다른 레인의 제어 코드를 이용하여 에러가 된 제어 코드를 재현할 수 있다.
또한, K Character의 수가 한정되어 있기 때문에, 필요 최소한의 K Character를 조합하여 각각의 제어 코드를 구성하도록 되어 있다. 예를 들면, 반복 송신함에 의해 전송 에러를 비교적 허용할 수 있는 Sync Code, Deskew Code, Standby Code에 관해서는, K Character를 추가로 할당할 필요가 없는 데이터 구조를 이용하고 있다.
재동기시키기 위해 필요한 제어 코드가 1패킷(1라인)마다 할당되어 있기 때문에, 정전기 등 외란이나 노이즈 등에 의해 비트 동기가 벗어나 버린 경우에 재동기를 신속하게 취할 수 있다. 또한, 동기 어긋남에 의한 전송 에러의 영향을 최소한으로 억제할 수 있다.
구체적으로는, 클록 생성부(112)와 동기부(113)에 의해 실현되는 CDR에서 8B10B 변환 후의 비트 데이터의 천이/에지를 검출함으로써 비트 동기를 취할 수 있다. 송신부(22)가 데이터를 계속 보내고 있으면, CDR 로크 시간으로서 상정된 기간 내에서 비트 동기를 취할 수 있게 된다.
또한, 심볼 동기가 벗어나 버린 경우에도, 특정한 K Character(K28.5)를 심볼 동기부(114)에서 검출함에 의해 재동기를 신속하게 취할 수 있다. K28.5는 Start Code, End Code, Deskew Code에 각각 이용되고 있기 때문에, 1패킷분의 패킷 데이터의 전송 기간 중에, 3개소에서 심볼 동기를 취하는 것이 가능해진다.
또한, Deskew Code를 이용하여 레인 사이의 Data Skew를 보정할 수 있도록 함에 의해, 레인 사이의 동기를 취할 수도 있다.
링크 레이어에서, 16개씩 등의 그룹 단위(도 14의 예인 경우, 16바이트 단위)로 각 패킷 데이터가 병렬 처리되도록 함에 의해, 1클록 주기에 하나씩 패킷 데이터를 처리하는 경우에 비교하여 회로 규모나 메모리량을 억제할 수 있다. 실장상, 패킷 데이터를 하나씩 처리하는 경우와 소정의 단위마다 통합하여 처리하는 경우에서, 후자의 쪽이 회로 규모 등을 억제할 수 있다. 회로 규모를 억제할 수 있음에 의해, 소비 전력을 억제하는 것도 가능해진다.
또한, 레인 할당할 때, 연속하는 패킷 데이터를 다른 레인에 할당함에 의해 에러 내성을 높일 수 있다. 어느 레인에서 패리티의 오류 정정 능력을 초과한 수의 연속하는 패킷 데이터에 걸쳐서 에러가 생긴 경우라도, 수신부(31)에서 레인 결합이 행하여짐에 의해, 에러가 생긴 패킷 데이터의 위치가 분산되게 되어 패리티를 이용한 에러 정정이 가능해지는 일이 있다. 패리티에 의한 오류 정정 능력은 패리티 길이에 의해 정하여진다.
또한, 물리 레이어에 가까운 쪽을 하위로 하여 레인 분배·레인 통합보다 상위에서 ECC 처리를 행하도록 함에 의해, 송신부(22)와 수신부(31)의 회로 규모를 삭감하는 것이 가능해진다. 예를 들면, 송신부(22)에서, 패킷 데이터의 각 레인에의 할당이 행하여진 후에 페이로드에 ECC의 패리티가 삽입된다고 한 경우, 페이로드 ECC 삽입부를 레인마다 준비할 필요가 있고, 회로 규모가 커져 버리지만 그와 같은 것을 막을 수 있다.
물리 레이어에서는 패킷 데이터의 병렬 처리가 복수의 회로에서 행하여지는데, PHY-TX 상태 제어부(81)나 클록 생성부(82)에 관해서는 공통화함에 의해, 그들의 회로를 레인마다 준비하는 경우에 비하여 회로의 간소화를 도모할 수 있다. 또한, 레인마다 다른 제어 코드를 전송하지 않는 프로토콜을 이용함에 의해, 각 레인의 패킷 데이터를 처리하는 회로의 간소화를 도모할 수 있다.
[레인수의 전환]
각 레인에서 같은 제어 코드를 같은 타이밍에서 전송하는 것은, 통상의 데이터 전송시뿐만 아니라, 예를 들면 레인수를 전환하는 경우에도 행하여진다. 레인수를 전환하는 경우에서도, 액티브한 레인(데이터 전송에 이용되는 레인)의 상태는 전부 같은 상태가 된다.
도 29는, 레인수를 전환하는 경우의 제어 시퀀스를 도시하는 도면이다.
도 29의 우측에 수직 동기 신호(XVS), 수평 동기 신호(XHS)의 타이밍을 나타낸다. 수직 동기 신호가 검출된 시각(t1)까지의 사이에 1프레임의 화상을 구성하는 각 라인의 화소 데이터가 수평 동기 신호에 따라 전송되고, 시각(t1)의 타이밍에서, 액티브한 레인을 4레인부터 2레인으로 변경한 경우에 관해 설명한다. 시각(t1)까지는, 4개의 레인을 통하여 데이터 전송이 행하여지고 있다.
도 29의 거의 중앙에는 종방향으로 각 레인의 상태를 나타내고 있다. 「PIX DATA」는 그 문자가 붙여져 있는 레인에서 화소 데이터의 전송이 행하여지고 있는 것을 나타낸다. 「PIX DATA」에 계속되는 「E」, 「BLK」, 「S」는 각각, Frame End, 블랭킹 기간, Frame Start를 나타낸다.
시각(t1)까지의 1프레임 기간에 전송하는 프레임의 화소 데이터의 전송이 종료된 경우, 스텝 S81에서, 화상 처리부(32)는, 수신부(31)에 대해 레인수를 4로부터 2로 전환하는 것을 지시한다. 화상 처리부(32)에 의한 지시는 스텝 S71에서 수신부(31)에 의해 수신된다.
시각(t1)이 되었을 때, 스텝 S82에서, 화상 처리부(32)는, 이미지 센서(11)의 촬상부(21)에 대해, 모드 체인지를 요구한다. 촬상부(21)에 대해 송신되는 모드 체인지의 요구에는, 레인수를 4로부터 2로 전환하는 것을 나타내는 정보도 포함되어 있다. 도 1 등에는 도시하고 있지 않지만, 촬상부(21)와 화상 처리부(32)의 사이에는, 셔터 스피드, 게인 등의 촬상에 관한 설정치의 정보를 화상 처리부(32)가 촬상부(21)에 대해 송신하기 위한 전송로가 마련되어 있다. 모드 체인지의 요구도 이 전송로를 통하여 촬상부(21)에 송신된다.
스텝 S51에서, 촬상부(21)는, 화상 처리부(32)로부터의 모드 체인지의 요구를 수신하고, 스텝 S52에서, 송신부(22)에 대해 레인수를 4로부터 2로 전환하는 것을 지시한다. 촬상부(21)에 의한 지시는 스텝 S61에서 송신부(22)에 의해 수신된다.
송신부(22)와 수신부(31)의 사이에서는 Standby Sequence가 행하여지고, Lane(0∼3)를 사용하여 Standby Code가 송신부(22)로부터 수신부(31)에 반복하여 전송된다. Standby Sequence가 종료한 때, 스텝 S72에서, 수신부(31)로부터 상태의 검출 결과가 출력되고, 스텝 S83에서 화상 처리부(32)에 의해 수신된다. 또한, 액티브한 상태를 유지하는 Lane(0)과 Lane(1)에 관해서는 Low의 상태가 되고, 데이터 전송을 종료하는 Lane(2)과 Lane(3)에 관해서는 High-Z의 상태가 된다.
송신부(22)와 수신부(31)의 사이에서는 Training Sequence가 행하여지고, Lane(0)과 Lane(1)을 사용하여 Sync Code가 송신부(22)로부터 수신부(31)에 반복하여 전송된다. 수신부(31)에서는 비트 동기가 확보되고, Sync Code가 검출됨에 의해 심볼 동기가 확보된다.
Training Sequence가 종료한 때, 스텝 S73에서, 수신부(31)는, 화상 처리부(32)에 대해 준비가 완료된 것을 통지한다. 수신부(31)에 의한 통지는 스텝 S84에서 화상 처리부(32)에 의해 수신되고, 레인수를 전환하는 경우의 일련의 제어 시퀀스가 종료된다.
이와 같이, 레인수를 전환하는 제어 시퀀스에서는, 계속해서 데이터 전송에 이용되는 Lane(0, 1)과 같은 상태가 되도록, 데이터 전송을 종료하는 Lane(2, 3)에서도 Standby Sequence시에 Standby Code가 전송된다. 예를 들면, Lane(2, 3)에 관해서는, Standby Code의 전송을 행하지 않고서 그대로 High-Z의 상태로 하는 것도 생각되지만, 계속해서 데이터 전송에 이용되는 레인과 다른 상태가 되어 버려, 제어가 복잡하게 된다.
[프레임 포맷의 변형례]
도 30은, 이미지 센서(11)-DSP(12) 사이의 데이터 전송에 이용되는 프레임 포맷의 다른 예를 도시하는 도면이다. 상술한 설명과 중복되는 설명에 관해서는 적절히 생략한다.
도 30에 도시하는 프레임 포맷은, 각 라인의 화상 데이터에 부가되는 헤더에 태선(L11)으로 둘러싸는 Embedded Line, Data ID, Region Number의 3개의 데이터가 추가되어 있는 점에서 도 4의 포맷과 다르다. 도 5의 헤더 생성부(72)에 의해 이들의 정보가 생성되고, 헤더에 부가되게 된다.
도 31은, 도 30의 프레임 포맷의 1패킷을 확대하여 도시하는 도면이다. 하나의 패킷은, 헤더와, 1라인분의 화소 데이터인 페이로드 데이터로 구성된다. 패킷에는 푸터가 부가되는 일도 있다. 각 패킷의 선두에는 Start Code가 부가되고, 뒤에는 End Code가 부가된다.
헤더 정보에는, 상술한 Frame Start, Frame End, Line Valid, Line Number에 더하여 라인 정보로서의 Embedded Line, 데이터 식별으로서의 Data ID 및 영역 정보로서의 Region Number가 포함된다. 각 정보의 내용을 도 32에 도시한다.
Embedded Line은, Embedded Data가 삽입되어 있는 라인의 전송에 이용되는 패킷인지의 여부를 나타내는 1비트의 정보이다. 예를 들면, Embedded Data를 포함하는 라인의 전송에 이용되는 패킷의 헤더의 Embedded Line에는 1의 값이 설정되고, 다른 라인의 전송에 이용되는 패킷의 헤더의 Embedded Line에는 0의 값이 설정된다. 상술한 바와 같이, 촬상에 관한 설정치의 정보가 Embedded Data로서 전(前) 더미 영역(A3)이나 후 더미 영역(A4)의 소정의 라인에 삽입된다.
Data ID는, 멀티 스트림 전송에서의 데이터의 ID나 데이터 종류별을 나타내는 P비트의 정보이다. P비트는 1비트 이상의 소정의 수의 비트를 나타낸다. 멀티 스트림 전송은, 하나의 송신부와 하나의 수신부의 조를 복수 이용하여 행하여지는 데이터 전송이다.
Region Number는, 페이로드에 격납되어 있는 화소 데이터가 촬상부(21)의 어느 영역의 데이터인지를 나타내는 1비트의 정보이다. 이들 3개의 데이터가 추가됨에 의해, Reserved는 30-P비트가 된다.
<2. Mode Change에 관해>
여기서, Mode Change(모드 체인지)에 관해 설명한다. Mode Change는, 데이터 전송의 모드의 내용을 규정하는, 상술한 레인수 등의 파라미터의 변경시에 행하여진다.
[(1) 통상의 Mode Change]
·Mode Change
도 33은, Mode Change의 시퀀스의 예를 도시하는 도면이다.
도 33의 좌측에 세로에 나열하여 도시하는 3개의 프레임은, Mode Change시에 전송된 데이터의 프레임 포맷을 나타낸다. 도 33의 상하 방향이 시간 방향을 나타낸다. Mode Change시에 행하여지는 동작 중, 이미지 센서(11)와 DSP(12)의 주된 동작에 관해 설명한다.
좌단에 도시하는 수직 동기 신호(XVS)에 의해 규정되는 시각(t53∼t54), 시각(t52∼t53) 및 시각(t53∼t54)의 각 기간이, 각 프레임의 전송 기간에 상당한다. 각 프레임을 구성하는 각각의 라인이, 수평 동기 신호(XHS)의 타이밍에 따라 1패킷을 이용하여 전송된다.
도 34는, 도 33의 1프레임째를 확대하여 도시하는 도면이다.
도 34의 예에서는, 시각(t51)부터 시각(t61)까지의 사이, 도 4의 전 더미 영역(A3)의 데이터에 상당하는 Blanking Data를 페이로드에 격납한 패킷이 전송된다.
또한, 시각(t61)부터 시각(t62)까지의 사이, Embedded Data를 페이로드에 격납한 패킷이 전송되고, 시각(t62)로부터 시각(t63)까지의 사이, 각 라인의 화소 데이터를 페이로드에 격납한 패킷이 전송된다. 시각(t63)부터 시각(t52)까지의 사이, 도 4의 후 더미 영역(A4)의 데이터에 상당하는 Blanking Data를 페이로드에 격납한 패킷이 전송된다.
각 패킷은, 페이로드의 앞에 헤더를 부가함에 의해 구성된다. 각각의 패킷의 앞에는 Start Code가 부가되고, 뒤에는 End Code가 부가된다. End Code의 뒤에는 Deskew Code와 Idle Code가 부가된다.
도 33의 우측의 시퀀스도에서의 속이 하얀 화살표(#11)는, 이와 같은 1프레임째의 데이터의 송수신이 송신부(22)와 수신부(31)의 사이에서 행하여지고 있는 것을 나타낸다. 2프레임째, 3프레임째에 관해서도, 위의 라인부터 차례로, 1라인씩 전송된다.
1프레임째의 최후의 라인의 전송이 종료된 시각(t52)의 타이밍의 스텝 S131에서, DSP(12)의 화상 처리부(32)는, 수신부(31)에 대해 Config를 출력한다. Config는, 레지스터에 설정되는 파라미터를 수신 동작에 반영시키는 것을 요구하는 제어 신호이다. 촬상부(21)와 송신부(22) 사이, 수신부(31)와 화상 처리부(32) 사이에서 이용되는 각종의 제어 신호에 관해서는 후에 상세히 기술한다.
Config의 출력 전, 이미지 센서(11)의 촬상부(21)와 DSP(12)의 화상 처리부(32)의 사이에서는 소정의 인터페이스(촬상부(21)와 화상 처리부(32) 사이의 도시하지 않은 전송로)를 통하여 통신이 행하여지고, 파라미터의 변경이 행하여진다. 촬상부(21)에서는, 변경 후의 파라미터가 레지스터(53)(도 5)에 설정되고, 화상 처리부(32)에서는, 변경 후의 파라미터가 레지스터(142)에 설정된다.
스텝 S121에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Config를 수신하고, 레지스터(142)에 설정된 변경 후의 파라미터를 판독하여 데이터의 수신 동작에 반영시킨다. 이후의 데이터의 수신이, 변경 후의 파라미터에 의해 규정되는 내용으로 행하여진다.
스텝 S132에서, 화상 처리부(32)는, 이미지 센서(11)의 촬상부(21)에 대해 Mode Change를 발행한다. Mode Change의 발행은, 전송 모드의 변경을 요구하는 제어 신호를 송신하는 것을 의미한다. Mode Change의 발행도, 도시하지 않은 인터페이스를 이용하여 행하여진다.
Mode Change의 발행을 스텝 S101에서 수신한 촬상부(21)는, 스텝 S102에서, 송신부(22)에 대해 Config를 출력한다.
스텝 S111에서, 송신부(22)는, 촬상부(21)로부터 출력된 Config를 수신하고, 레지스터(53)에 설정된 변경 후의 파라미터를 판독하여 데이터의 송신 동작에 반영시킨다. 이후의 데이터의 송신이, 변경 후의 파라미터에 의해 규정되는 내용으로 행하여진다.
스텝 S112에서, 송신부(22)는, 수신부(31)와의 사이에서 Standby Sequence를 행한다. 상술한 바와 같이, Standby Sequence에서는 송신부(22)로부터 수신부(31)에 대해 Standby Code가 반복하여 전송된다.
Standby Sequence가 종료한 때, 송신부(22)와 수신부(31) 사이의 각 레인은 Low(Low 임피던스)가 되어 데이터 전송이 정지한 상태가 된다.
스텝 S114에서, 송신부(22)는, 수신부(31)와의 사이에서 Training Sequence를 행한다. Training Sequence는, 수신부(31)에서, CDR을 행함에 의해 클록을 재생하고, 동기를 확립함과 함께, 레인 사이의 Data Skew를 보정하기 위해 행하여지는 처리이다.
도 35는, Training Sequence에서 이용되는 제어 코드의 예를 도시하는 도면이다.
도 35의 종방향이 레인을 나타내고, 횡방향이 시간 방향을 나타낸다. Training Sequence에서는, Sync Code가 반복하여 전송되고, 그 후, Idle Code의 반복과 하나의 Deskew Code를 조로 하여 그 조가 반복하여 전송된다. 수신부(31)에서는, Sync Code를 이용하여 클록의 재생과 동기의 확립이 행하여지고, Deskew Code를 이용하여 도 25를 참조하여 설명한 바와 같이 하여 레인 사이의 Data Skew의 보정이 행하여진다.
Training Sequence의 후, 도 33의 스텝 S115에서, 송신부(22)는, Idle Code를 송신한다.
스텝 S122에서, 수신부(31)는, 송신부(22)로부터 송신된 Idle Code를 수신한다. 이와 같은 Training Sequence가 행하여짐에 의해, 수신부(31)는, 변경 후의 파라미터에 따라, 송신부(22)로부터 송신되어 오는 데이터를 수신할 수 있는 상태가 된다.
송신부(22)에 의한 3프레임째의 각 라인의 송신은, 변경 후의 파라미터에 의해 규정되는 내용으로 행하여진다. 속이 하얀 화살표(#12)는, 3프레임째의 데이터의 송수신이, 변경 후의 파라미터를 이용하여 송신부(22)와 수신부(31)의 사이에서 행하여지고 있는 것을 나타낸다.
이상과 같은 Mode Change가 파라미터의 변경시에 행하여진다.
도 36은, 레지스터에 설정되는 파라미터의 예를 도시하는 도면이다.
Lane Num은, 데이터 스트림의 전송에 이용하는 레인의 수를 나타내는 정보이다. Lane Num에는, 예를 들면 1, 2, 4, 6, 8 중의 어느 하나의 값이 설정된다.
Pixel Bit는, 화상 데이터를 구성하는 각 화소의 비트수를 나타내는 정보이다. Pixel Bit에는, 예를 들면 8, 10, 12, 14, 16 중의 어느 하나의 값이 설정된다.
Line Length는, 1라인의 화소 수를 나타내는 정보이다. Line Length에는, 4 이상의 소정의 값이 설정된다.
ECC Option은, 패킷을 구성하는 페이로드 데이터의 오류 정정에 이용되는 오류 정정 부호의 종류를 나타내는 정보이다. ECC Option에는, 0, 1, 2 중의 어느 하나의 값이 설정된다.
CRC Option은, 패킷을 구성하는 푸터에 포함되고, 페이로드 데이터의 오류 검출에 이용되는 오류 검출 부호의 종류를 나타내는 정보이다. CRC Option에는, On/Off의 어느 하나가 설정된다. CRC Option의 설정이 On인 것은, 오류 검출 부호가 포함되는 것을 나타내고, Off인 것은, 오류 검출 부호가 포함되지 않는 것을 나타낸다.
Baud Grade는, 각각의 레인의 전송 레이트의 종류를 나타내는 정보이다. Baud Grade에는, Grade1/Grade2의 어느 하나가 설정된다.
이미지 센서(11)와 DSP(12)에서는, 이와 같은 각 파라미터의 값으로서 같은 값이 설정된다. 이미지 센서(11)의 레지스터(53)에 설정된 파라미터는, 촬상부(21)로부터 Config가 출력되는 것에 응하여 송신부(22)에 의해 판독되고, 송신 동작에 반영된다. 한편, DSP(12)의 레지스터(142)에 설정된 파라미터는, 화상 처리부(32)로부터 Config가 출력되는 것에 응하여 수신부(31)에 의해 판독되고, 수신 동작에 반영된다.
또한, 파라미터의 종류는, 도 36에 도시하는 것으로 한정되는 것이 아니라, 다른 파라미터가 이용되도록 하여도 좋다.
·Mode Change with Standby
Mode Change에는, 도 33의 Mode Change 외에, Mode Change with Standby가 규정된다. 도 33의 Mode Change가 데이터 전송의 정지 중에 각 레인이 Low가 되는 것임에 대해, Mode Change with Standby는, 데이터 전송의 정지 중에 각 레인이 High-Z(High 임피던스)가 되는 것이다.
도 37은, Mode Change with Standby의 시퀀스의 예를 도시하는 도면이다. 이미지 센서(11)와 DSP(12)의 주된 동작에 관해 설명한다.
도 37의 우측에 도시하는 바와 같이, 소정의 프레임의 화상 데이터의 송신 종료 후의 스텝 S231에서, DSP(12)의 화상 처리부(32)는, 이미지 센서(11)의 촬상부(21)에 대해 Standby를 송신한다.
Standby를 스텝 S201에서 수신한 이미지 센서(11)의 촬상부(21)는, 스텝 S202에서, 송신부(22)에 대해 Standby를 출력한다.
스텝 S211에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Standby를 수신하고, 수신부(31)와의 사이에서 Standby Sequence를 행한다.
Standby Sequence가 종료한 때, 송신부(22)와 수신부(31)는 Standby mode의 상태가 된다. 송신부(22)와 수신부(31) 사이의 각 레인은 High-Z가 되고, 데이터 전송이 정지한 상태가 된다.
예를 들면 Standby mode의 상태가 되어 있는 동안, 이미지 센서(11)의 촬상부(21)와 DSP(12)의 화상 처리부(32)의 사이에서는 소정의 인터페이스를 통하여 통신이 행하여지고, 파라미터의 변경이 행하여진다. 촬상부(21)에서는, 변경 후의 파라미터가 레지스터(53)에 설정되고, 화상 처리부(32)에서는, 변경 후의 파라미터가 레지스터(142)에 설정된다.
스텝 S232에서, 화상 처리부(32)는, 수신부(31)에 대해 Setup을 출력한다.
스텝 S221에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Setup을 수신하고, Standby mode로부터 기동한다. 수신부(31)에서는, 적절히, 레지스터(142)에 설정된 파라미터가 판독되고, 수신 동작에 반영된다.
스텝 S233에서, DSP(12)의 화상 처리부(32)는, 이미지 센서(11)의 촬상부(21)에 대해 Wakeup을 송신한다.
Wakeup을 스텝 S203에서 수신한 이미지 센서(11)의 촬상부(21)는, 스텝 S204에서, 송신부(22)에 대해 Setup을 출력한다.
스텝 S212에서, 송신부(22)는, 촬상부(21)로부터 출력된 Setup을 수신하고, Standby mode로부터 기동한다. 송신부(22)에서는, 적절히, 레지스터(53)에 설정된 파라미터가 판독되고, 송신 동작에 반영된다. 송신부(22)와 수신부(31) 사이의 각 레인은 Low가 된다.
스텝 S213에서, 송신부(22)는, 수신부(31)와의 사이에서 Training Sequence를 행한다. 수신부(31)에서는, Sync Code를 이용하여 클록의 재생과 동기의 확립이 행하여지고, Deskew Code를 이용하여 레인 사이의 Data Skew의 보정이 행하여진다.
Training Sequence의 후, 스텝 S214에서, 송신부(22)는, Idle Code를 송신한다.
Training Sequence를 종료한 수신부(31)는, 스텝 S222에서, 화상 처리부(32)에 대해 Ready를 송신하여 데이터의 수신 준비가 완료된 것을 통지한다.
스텝 S234에서, 화상 처리부(32)는, 수신부(31)로부터 출력된 Ready를 수신한다. 그 후, 화상 처리부(32)는, 송신부(22)로부터 송신되고, 수신부(31)에서 수신된 화상 데이터를 취득하여 처리를 행한다.
Mode Change with Standby는 이상과 같이 하여 행하여진다. 도 33을 참조하여 설명한 Mode Change와, Mode Change with Standby를 각각 구별할 필요가 없는 경우, 단지, Mode Change라고 한다.
·송신부(22)의 상태 천이
도 38은, 송신측인 이미지 센서(11)의 각 레이어 사이에서 이용되는 제어 신호의 예를 도시하는 도면이다.
어플리케이션 레이어(촬상부(21))로부터 링크 레이어에 대해서는, 라인의 시작과 종료를 나타내는 Line Start/Line End, 레지스터(53)에 설정된 파라미터를 나타내는 Pixel Bit, Lane Num, Baud Grade, Line Length, ECC Option, CRC Option이 출력된다.
또한, 어플리케이션 레이어로부터 링크 레이어에 대해서는, Config, Standby, Setup이 출력된다. Config는, 레지스터(53)에 설정된 파라미터를 송신 동작에 반영시키는 것을 요구하는 신호이다. Standby는, Standby Sequence를 시작하는 것을 요구하는 신호이다. Setup은, Standby mode로부터 기동하는 것을 요구하는 신호이다.
이와 같은 각 제어 신호가 어플리케이션 레이어의 시스템 제어부(51)로부터 출력된다. LINK-TX 프로토콜 관리부(61)의 상태 제어부(71)는, 어플리케이션 레이어로부터 출력되는 제어 신호를 수신하는 것에 응하여 링크 레이어의 각 부분의 상태를 제어한다.
링크 레이어로부터 물리 레이어에 대해서는, 제어 코드의 송신의 시작과 종료를 요구하는 TX Start/TX End, 링크 레이어로부터 출력되는 데이터가 유효 데이터인지의 여부를 나타내는 Data Valid/Data Invalid가 출력된다.
또한, 링크 레이어로부터 물리 레이어에 대해서는, 레지스터(53)에 설정된 6종류의 파라미터 중의 물리 레이어의 처리에 관계가 있는 Lane Num과 Baud Grade가 출력된다. Lane Num과 Baud Grade 이외의 파라미터는, 링크 레이어의 처리에 관계가 있는 파라미터이다.
또한, 링크 레이어로부터 물리 레이어에 대해서는, Config, Standby, Setup이 출력된다. Config는, Standby mode의 후, 각 레인을 Low의 상태로 하는 것을 요구하는 신호이다. Standby는, Standby Sequence의 시작을 요구하는 신호이다. Setup은, Training Sequence의 시작을 요구하는 신호이다.
이와 같은 각 제어 신호가 링크 레이어의 상태 제어부(71)로부터 출력된다. PHY-TX 상태 제어부(81)는, 링크 레이어로부터 출력되는 제어 신호를 수신하는 것에 응하여 물리 레이어의 각 부분의 상태를 제어한다.
도 39는, 송신부(22)의 링크 레이어의 상태 천이의 예를 도시하는 도면이다. 주된 천이에 관해 설명한다.
도 39에서, 각각의 블록은 링크 레이어의 상태를 나타낸다. 어느 상태로부터 다른 화살표를 향하는 화살표는, 각각의 화살표의 근방의 제어 신호가 어플리케이션 레이어로부터 출력된 때에 일어나는 상태 천이를 나타낸다. 후술하는 도 40, 도 42, 도 43 등에서도 마찬가지이다.
예를 들면, 중앙에 도시하는 Blanking의 상태에서, 어플리케이션 레이어로부터 Config가 출력된 경우, 상태 제어부(71)는, 화살표(#21)의 끝에 도시하는 바와 같이, 링크 레이어의 상태를 Mode Change의 상태로 천이시킨다. 이때, 예를 들면 도 33을 참조하여 설명한 Mode Change가 행하여진다.
Mode Change의 상태에 있는 경우, 상태 제어부(71)로부터 물리 레이어에 대해서는, Standby 또는 Config가 출력된다. 각 블록의 내측에 도시하는 제어 신호는, 그 상태에 있는 경우에 물리 레이어에 대해 출력되는 신호를 나타낸다.
상태 제어부(71)는, 도 39에 도시하는 바와 같은 천이도에 따라, 링크 레이어의 상태를 제어한다.
도 40은, 송신부(22)의 물리 레이어의 상태 천이의 예를 도시하는 도면이다. 주된 천이에 관해 설명한다.
예를 들면, 중앙에 도시하는 Idle Code의 전송 중의 상태에서, 링크 레이어로부터 Standby가 출력된 경우, PHY-TX 상태 제어부(81)는, 화살표(#31)의 끝에 도시하는 바와 같이, 물리 레이어의 상태를 Standby Sequence의 상태로 천이시킨다.
Standby Sequence가 종료한 경우, PHY-TX 상태 제어부(81)는, 화살표(#32)의 끝에 도시하는 바와 같이 각 레인을 High-Z로 한다. 각 레인이 High-Z가 되어 있을 때에 링크 레이어로부터 Setup이 출력된 경우, PHY-TX 상태 제어부(81)는, 화살표(#33)의 끝에 도시하는 바와 같이, 각 레인을 Low로 한다. Standby Sequence에서 Config가 출력된 경우도 마찬가지로, PHY-TX 상태 제어부(81)는, 화살표(#34)의 끝에 도시하는 바와 같이 각 레인을 Low로 한다.
각 레인을 Low로 한 후, PHY-TX 상태 제어부(81)는, 물리 레이어의 상태를 화살표(#35)의 끝에 도시하는 바와 같이 Training Sequence의 상태로 하고, Training Sequence가 종료된 경우, 화살표(#36)의 끝에 도시하는 바와 같이 Idle Code를 전송하는 상태로 한다.
PHY-TX 상태 제어부(81)는, 도 40에 도시하는 바와 같은 천이도에 따라, 물리 레이어의 상태를 제어한다.
·수신부(31)의 상태 천이
도 41은, 수신측인 DSP(12)의 각 레이어 사이에서 이용되는 제어 신호의 예를 도시하는 도면이다.
송신부(22)로부터 Start Code/End Code가 공급된 경우, 물리 레이어로부터 링크 레이어에 대해서는, 수신의 시작/종료를 요구하는 RX Start/RX End가 출력된다. 이때, 링크 레이어로부터 어플리케이션 레이어(화상 처리부(32))에 대해서는, Line Start/Line End가 출력된다.
또한, 송신부(22)로부터 PAD Code가 공급된 경우, 물리 레이어로부터 링크 레이어에 대해서는, 물리 레이어로부터 출력되는 데이터가 유효 데이터인지의 여부를 나타내는 Data Valid/Data Invalid가 출력된다. 이때, 링크 레이어로부터 어플리케이션 레이어에 대해서는, 헤더의 해석 결과를 나타내는 Header Info 등이 출력된다.
Standby Sequence를 시작하는 경우, 물리 레이어로부터 링크 레이어에 대해서는, Standby Detect가 출력된다. 이때, 링크 레이어로부터 어플리케이션 레이어에 대해서는 Standby Detect가 출력된다.
Training Sequence를 시작하는 경우, 물리 레이어로부터 링크 레이어에 대해서는, RX Ready가 출력된다. 이때, 링크 레이어로부터 어플리케이션 레이어에 대해서는 RX Ready가 출력된다.
어플리케이션 레이어로부터 링크 레이어에 대해서는, 레지스터(142)에 설정된 파라미터를 나타내는 Pixel Bit, Lane Num, Baud Grade(Data Rate), Line Length, ECC Option, CRC Option이 출력된다. ECC Option, CRC Option은 옵션이기 때문에, 출력하지 않는 것도 가능하다. 링크 레이어로부터 물리 레이어에 대해서는, 레지스터(142)에 설정된 6종류의 파라미터 중의 물리 레이어의 처리에 관계가 있는 Lane Num과 Baud Grade가 출력된다.
또한, 어플리케이션 레이어로부터 링크 레이어에 대해서는, Config, Standby, Setup이 출력된다. Config는, 레지스터(142)에 설정된 파라미터를 수신 동작에 반영시키는 것을 요구하는 신호이다. Standby는, Standby Sequence를 시작하는 것을 요구하는 신호이다. Setup은, Standby mode로부터 기동하는 것을 요구하는 신호이다. Config, Standby, Setup은, 링크 레이어로부터 물리 레이어에 대해서도 출력된다.
PHY-RX 상태 제어부(101)는, 송신부(22)로부터 송신되어 온 제어 코드를 수신하는 것에 응하여 또는, 링크 레이어로부터 출력되는 제어 신호를 수신하는 것에 응하여 물리 레이어의 각 부분의 상태를 제어한다.
또한, LINK-RX 프로토콜 관리부(121)의 상태 제어부(131)는, 링크 레이어로부터 출력되는 제어 신호를 수신하는 것에 응하여 또는, 어플리케이션 레이어로부터 출력되는 제어 신호를 수신하는 것에 응하여 링크 레이어의 각 부분의 상태를 제어한다.
도 42는, 수신부(31)의 링크 레이어의 상태 천이의 예를 도시하는 도면이다. 주된 천이에 관해 설명한다.
예를 들면, 중앙에 도시하는 Blanking의 상태에서, 물리 레이어로부터 Standby Detect가 출력된 경우, 상태 제어부(131)는, 화살표(#41)의 끝에 도시하는 바와 같이, 링크 레이어의 상태를 Wait의 상태로 천이시킨다.
Wait의 상태에서, 어플리케이션 레이어레이어로부터 Config가 출력된 경우, 상태 제어부(131)는, 화살표(#42)의 끝에 도시하는 바와 같이, 링크 레이어의 상태를 Mode Change의 상태로 천이시킨다.
상태 제어부(131)는, 도 42에 도시하는 바와 같은 천이도에 따라, 링크 레이어의 상태를 제어한다.
도 43은, 수신부(31)의 물리 레이어의 상태 천이의 예를 도시하는 도면이다. 주된 천이에 관해 설명한다.
예를 들면, 중앙에 도시하는 RX Ready를 출력하고 있는 상태에서, Standby Sequence를 시작하는 경우, PHY-RX 상태 제어부(101)는, 화살표(#51)의 끝에 도시하는 바와 같이, 물리 레이어의 상태를 Standby Detect를 출력하는 상태로 천이시킨다.
Standby Detect를 출력하고 있는 상태에서, 링크 레이어로부터 Config가 출력된 경우, PHY-RX 상태 제어부(101)는, 화살표(#52)의 끝에 도시하는 바와 같이, 물리 레이어의 상태를 Training Wait의 상태로 천이시킨다.
Training Wait의 상태에서, Training Sequence를 시작하는 경우, PHY-RX 상태 제어부(101)는, 화살표(#53)의 끝에 도시하는 바와 같이, 물리 레이어의 상태를 RX Ready를 출력하는 상태로 천이시킨다.
PHY-RX 상태 제어부(101)는, 도 43에 도시하는 바와 같은 천이도에 따라, 물리 레이어의 상태를 제어한다.
[(2)Training Sequence를 생략한 Mode Change]
이상과 같이, 데이터 전송의 모드는 6종류의 파라미터에 의해 규정된다. 파라미터의 변경시, Mode Change에서 Training Sequence가 행하여지고, 데이터 전송이 한 번 정지하게 된다.
그런데, 6종류의 파라미터 중, Lane Num과 Baud Grade 이외의 파라미터는, 가령 변경하였다고 하여도 동기의 확립과 레인 사이의 Data Skew의 보정을 재차 행할 필요가 없다, 즉, Training Sequence가 불필요한 파라미터이다.
Lane Num과 Baud Grade는 물리 레이어의 처리에 관계가 있는 파라미터이고, 변경한 경우에는 동기가 어긋남과 함께 레인 사이의 Data Skew의 양이 변화하기 때문에 Training Sequence가 필요해진다. 한편, Lane Num과 Baud Grade 이외의 파라미터는, 링크 레이어의 처리에 관계가 있는 파라미터이고, 변경의 전후에서, 동기의 어긋남이나 레인 사이의 Data Skew의 양에 변화가 없다.
Mode Change의 방식으로서, Training Sequence를 수반하는 상술한 Mode Change 외에, Training Sequence를 생략한 Mode Change가 규정된다. Training Sequence를 수반하는 Mode Change와 Training Sequence를 생략한 Mode Change는, 변경하는 파라미터의 종류에 응하여 전환하여 실행된다.
도 44는, Mode Change의 예를 도시하는 도면이다.
도 44의 상단에 도시하는 바와 같이, 변경하는 파라미터가 Lane Num 또는 Baud Grade인 경우, Training Sequence를 수반하는 Mode Change가 행하여진다.
한편, 도 44의 하단에 도시하는 바와 같이, 변경한 파라미터가 Lane Num과 Baud Grade 이외의 파라미터인 경우, Training Sequence를 생략한 Mode Change, 또는, Training Sequence를 수반하는 Mode Change가 행하여진다.
이와 같이, 변경하는 파라미터의 종류에 응하여 Training Sequence를 적절히 생략함에 의해, Mode Change를 간략화하는 것이 가능해진다.
또한, 동기의 확립과 Data Skew의 보정을 재차 행할 필요가 없는 경우라도 그들의 처리를 행하다고 한 경우, 필요없는 전력 소비가 수신측에서 발생하게 되는데, Training Sequence를 적절히 생략함에 의해 소비 전력을 억제하는 것이 가능해진다.
이하, 적절히, Training Sequence를 생략한 Mode Change를 간이형 Mode Change라고 한다.
간이형 Mode Change로서, 도 45에 도시하는 바와 같이, 무효 프레임의 전송이 있는 간이형 Mode Change와, 무효 프레임의 전송이 없는 간이형 Mode Change의 2종류가 규정된다.
·무효 프레임의 전송이 있는 간이형 Mode Change의 시퀀스
도 46은, 무효 프레임의 전송이 있는 간이형 Mode Change의 시퀀스의 예를 도시하는 도면이다. 도 33의 설명과 중복되는 설명에 관해서는 적절히 생략한다.
도 46의 우단에 도시하는 바와 같이, 1프레임째의 최후의 라인의 전송이 종료된 스텝 S331에서, DSP(12)의 화상 처리부(32)는, 수신부(31)에 대해 Config를 출력한다.
Config의 출력 전, 이미지 센서(11)의 촬상부(21)와 DSP(12)의 화상 처리부(32)의 사이에서는 소정의 인터페이스를 통하여 통신이 행하여지고, 파라미터의 변경이 행하여진다. Pixel Bit 등의 Lane Num과 Baud Grade 이외의 파라미터가 변경되는 것으로 한다. 촬상부(21)에서는, 변경 후의 파라미터가 레지스터(53)에 설정되고, 화상 처리부(32)에서는, 변경 후의 파라미터가 레지스터(142)에 설정된다.
스텝 S321에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Config를 수신하고, 레지스터(142)에 설정된 변경 후의 파라미터를 판독하여 데이터의 수신 동작에 반영시킨다. 이후의 데이터의 수신이, 변경 후의 파라미터에 의해 규정되는 내용으로 행하여진다.
스텝 S332에서, 화상 처리부(32)는, 이미지 센서(11)의 촬상부(21)에 대해 Mode Change를 발행한다.
Mode Change의 발행을 스텝 S301에서 수신한 이미지 센서(11)의 촬상부(21)는, 스텝 S302에서, 송신부(22)에 대해 Config를 출력한다.
스텝 S311에서, 송신부(22)는, 촬상부(21)로부터 출력된 Config를 수신하고, 레지스터(53)에 설정된 변경 후의 파라미터를 판독하여 데이터의 송신 동작에 반영시킨다. 이후의 데이터의 송신이, 변경 후의 파라미터에 의해 규정되는 내용으로 행하여진다.
송신부(22)와 수신부(31)의 쌍방에서 파라미터의 변경이 반영된 후, 속이 하얀 화살표(#61)로 도시하는 바와 같이 Blanking Data의 송신이 시작된다. Blanking Data의 송신은, Training Sequence에 필요로 한 시간을 포함하는, 2프레임째의 송신이 종료된 타이밍인 시각(t53)까지 계속된다.
즉, Training Sequence 등이 생략되고, 무효한 데이터이지만, 데이터의 전송이 계속되게 된다.
여기서 송신된 Blanking Data는, 좌측의 테두리(F1)로 둘러싸서 도시하는 바와 같이 무효 프레임을 구성하는 데이터이다.
Blanking Data의 전송도, 라인마다 하나의 패킷을 이용하여 행하여진다. Blanking Data를 격납한 페이로드의 앞에 헤더가 부가됨에 의해 각 패킷이 구성된다. 각각의 패킷의 앞에는 Start Code가 부가되고, 뒤에는 End Code가 부가된다. End Code의 뒤에는 Deskew Code와 Idle Code가 부가된다.
무효 프레임의 송신이 종료된 시각(t53)에서, 3프레임째의 송신이 시작된다. 송신부(22)에 의한 3프레임째의 각 라인의 송신은, 변경 후의 파라미터에 의해 규정되는 내용으로 행하여진다. 또한, 수신부(31)에 의한 3프레임째의 각 라인의 수신은, 변경 후의 파라미터에 의해 규정되는 내용으로 행하여진다.
이와 같이, 송신부(22)는, 간이형 Mode Change의 실행시, 파라미터의 변경을 송신 동작에 즉시에 반영시켜서, 데이터 전송의 일시 정지를 발생시키는 일 없이 무효 프레임의 송신을 행한다.
도 47은, 간이형 Mode Change가 이용되는 경우의 송신부(22)의 링크 레이어의 상태 천이의 예를 도시하는 도면이다.
도 47에 도시하는 바와 같이, 중앙에 도시하는 Blanking의 상태로부터 Mode Change의 상태로의 천이는, 어플리케이션 레이어로부터 Config가 출력되고, 또한, 변경된 파라미터가 Lane Num 또는 Baud Grade인 경우에 발생하게 된다. 상태 제어부(71)는, 도 47에 도시하는 바와 같은 천이도에 따라, 링크 레이어의 상태를 제어한다.
여기서, 도 48의 시퀀스도를 참조하여 간이형 Mode Change시의 각 부분의 처리의 상세에 관해 설명한다. 도 48에 도시하는 처리는, 기본적으로, 도 46을 참조하여 설명한 처리와 같은 처리이다.
파라미터의 변경이 촬상부(21)와 화상 처리부(32) 사이에서 행하여진 후, 스텝 S401에서, 촬상부(21)는, 변경 후의 파라미터를 레지스터(53)에 설정한다.
한편, 스텝 S431에서, 화상 처리부(32)는, 변경 후의 파라미터를 레지스터(142)에 설정한다.
스텝 S432에서, 화상 처리부(32)는, 수신부(31)에 대해 Config를 출력한다.
스텝 S421에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Config를 수신한다.
스텝 S422에서, 수신부(31)는, 레지스터(142)로부터 파라미터를 판독하여 데이터의 수신 동작에 반영시킨다. 상태 제어부(131)는, 링크 레이어의 각 부분을 제어하여 새롭게 설정된 파라미터에 응한 처리를 행하게 한다.
화소 데이터를 포함하는 프레임인 유효 프레임의 최후의 라인의 송신이 종료된 스텝 S433에서, 화상 처리부(32)는, 촬상부(21)에 대해 Mode Change를 발행한다.
스텝 S402에서, 촬상부(21)는, Mode Change의 발행을 수신한다.
스텝 S403에서, 촬상부(21)는, 송신부(22)에 대해 Config를 출력한다.
스텝 S411에서, 송신부(22)는, 촬상부(21)로부터 출력된 Config를 수신한다.
스텝 S412에서, 송신부(22)는, 레지스터(53)로부터 파라미터를 판독하여 데이터의 송신 동작에 반영시킨다. 상태 제어부(71)는, 링크 레이어의 각 부분을 제어하여 새롭게 설정된 파라미터에 응한 처리를 행하게 한다.
변경된 파라미터가 Pixel Bit, Line Length, ECC Option, CRC Option 중의 어느 하나인 경우, 스텝 S413에서, 상태 제어부(71)는, 링크 레이어의 상태를 간이형 Mode Change를 실행하는 상태로 한다.
스텝 S414에서, 송신부(22)는, Blanking Data를 포함하는 무효 프레임을 송신한다. 무효 프레임의 송신은, 새롭게 설정된 파라미터에 따라 행하여진다.
무효 프레임의 송신이 종료된 경우, 스텝 S415에서, 송신부(22)는, 화소 데이터를 포함하는 유효 프레임을 송신한다.
한편, 스텝 S423에서, 수신부(31)는, 송신부(22)로부터 송신된 무효 프레임을 수신한다. 무효 프레임의 수신은, 새롭게 설정된 파라미터에 따라 행하여진다.
무효 프레임의 수신이 종료된 경우, 스텝 S424에서, 수신부(31)는, 송신부(22)로부터 송신된 유효 프레임을 수신한다. 그 후, 송신부(22)와 수신부(31) 사이에서는 유효 프레임의 송수신이 계속된다.
이와 같이, 간이형 Mode Change는, 변경하는 파라미터에 따라서는 불필요하다고 말할 수 있는 Training Sequence를 생략하도록 하여 행하여진다.
이에 의해, Mode Change시의 송신측의 시퀀스를 간략화하는 것이 가능해진다.
또한, CDR에 의한 재동기 등이 불필요해지기 때문에, 수신측의 소비 전력의 삭감이 가능해진다.
또한, 복수종류의 파라미터가 한번으로 변경되도록 하여도 좋다. 이 경우, Lane Num과 Baud Grade 중의 적어도 어느 하나의 변경이 행하여질 때에, Training Sequence를 수반하는 Mode Change가 행하여지게 된다. 또한, Pixel Bit, Line Length, ECC Option, CRC Option 중의 적어도 어느 하나의 변경이 행하여질 때에, 간이형 Mode Change가 행하여지게 된다.
[(3) 무효 프레임의 전송이 없는 간이형 Mode Change]
다음에, 무효 프레임의 전송이 없는 간이형 Mode Change에 관해 설명한다.
·(3-1) 시퀀스에 관해
도 49는, 무효 프레임의 전송이 없는 간이형 Mode Change의 시퀀스의 예를 도시하는 도면이다.
도 49에 도시하는 시퀀스는, 파라미터의 변경이 행하여진 후, 무효 프레임의 전송을 발생시키지 않고, 테두리(F2)로 둘러싸서 도시하는 바와 같이 유효 프레임의 전송이 행하여지는 점에서, 도 46을 참조하여 설명한 시퀀스와 다르다.
도 49의 우단에 도시하는 바와 같이, 스텝 S481에서, DSP(12)의 화상 처리부(32)는, 수신부(31)에 대해 Config를 출력한다. 수신부(31)에 대한 Config의 출력은, 예를 들면 1프레임째의 소정의 라인의 전송 중에 행하여진다. Config의 출력 전, 이미지 센서(11)의 촬상부(21)와 DSP(12)의 화상 처리부(32) 사이에서는 소정의 인터페이스를 통하여 통신이 행하여지고, 파라미터의 변경이 행하여진다.
스텝 S471에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Config를 수신하고, 소정의 타이밍에서, 레지스터(142)에 설정된 변경 후의 파라미터를 판독하여 데이터의 수신 동작에 반영시킨다. 파라미터의 반영 타이밍에서 관해서는 후술한다.
스텝 S482에서, 화상 처리부(32)는, 이미지 센서(11)의 촬상부(21)에 대해 Mode Change를 발행한다. Mode Change의 발행도, 1프레임째의 소정의 라인의 전송 중에 행하여진다.
Mode Change의 발행을 스텝 S451에서 수신한 이미지 센서(11)의 촬상부(21)는, 스텝 S452에서, 송신부(22)에 대해 Config를 출력한다. 송신부(22)에 대한 Config의 출력도, 1프레임째의 소정의 라인의 전송 중에 행하여진다.
스텝 S461에서, 송신부(22)는, 촬상부(21)로부터 출력된 Config를 수신하고, 소정의 타이밍에서, 레지스터(53)에 설정된 변경 후의 파라미터를 판독하여 데이터의 송신 동작에 반영시킨다.
송신부(22)와 수신부(31)의 쌍방에서 파라미터의 변경이 반영된 후의 시각(t52) 이후, 유효 프레임인 2프레임째의 전송이 행하여진다. 속이 하얀 화살표(#71)는, 이와 같은 2프레임째의 데이터의 송수신이 송신부(22)와 수신부(31) 사이에서 행하여지고 있는 것을 나타낸다. 그 후, 송신부(22)와 수신부(31)의 사이에서는 유효 프레임의 송수신이 계속된다.
이와 같이, 무효 프레임의 전송을 발생시키지 않고 간이형 Mode Change를 행하도록 하는 것이 가능하다.
여기서, 무효 프레임의 전송을 발생시키지 않도록 하기 위해서는, Mode Change의 발행과, Config에 응한 파라미터의 반영이, 다음의 프레임(변경 전의 파라미터를 이용하여 전송 중의 프레임의 다음의 프레임)의 시작 타이밍에 끝마칠(間に合) 필요가 있다. Config에 응한 파라미터의 반영에는, Config의 출력 자체도 포함된다.
Mode Change의 발행과 Config에 응한 파라미터의 반영의 타이밍에는, 소정의 제약이 설정된다.
변경하는 파라미터가 Pixel Bit, Line Length, ECC Option, CRC Option 중의 어느 하나인 경우, Mode Change의 발행과 Config에 응한 파라미터의 반영의 타이밍에는, 예를 들면 이하와 같은 제약이 설정된다.
예 1
송신측 : 다음 프레임의 선두를 나타내는 TX Start(도 38)의 출력까지
수신측 : 다음 프레임의 선두를 나타내는 RX Start(도 41)의 출력까지
이 경우, Mode Change의 발행과 Config에 응한 파라미터의 반영이, 송신부(22)에서는, 링크 레이어(상태 제어부(71))로부터 물리 레이어(PHY-TX 상태 제어부(81))에 대해 TX Start가 출력될 때까지 행하여질 필요가 있다. 또한, 수신부(31)에서는, 물리 레이어(PHY-RX 상태 제어부(101))로부터 링크 레이어(상태 제어부(131))에 대해 RX Start가 출력될 때까지 행하여질 필요가 있다.
예 2
송신측 : 전송 중의 프레임의 최후를 나타내는 TX End의 출력까지
수신측 : 전송 중의 프레임의 최후를 나타내는 RX End의 출력까지
이 경우, Mode Change의 발행과 Config에 응한 파라미터의 반영이, 송신부(22)에서는, 링크 레이어로부터 물리 레이어에 대해 TX End가 출력될 때까지 행하여질 필요가 있다. 또한, 수신부(31)에서는, 물리 레이어로부터 링크 레이어에 대해 RX End가 출력될 때까지 행하여질 필요가 있다.
상기 예 1, 예 2의 제약을 충족시키는 타이밍으로서, Mode Change의 발행과 Config에 응한 파라미터의 반영이, 전송 중의 프레임의 수직 블랭킹 기간 중에 행하여지도록 하여도 좋다. 예를 들면 도 49의 1프레임째에서의 후 더미 영역(A4)의 데이터에 상당하는 Blanking Data의 기간이, 수직 블랭킹 기간에 상당한다.
이에 의해, 무효 프레임의 전송이 없는 간이형 Mode Change에 의한 파라미터의 변경을, 프레임 단위로 행하게 하는 것이 가능해진다.
또한, Mode Change의 발행과 Config에 응한 파라미터의 반영이, 전송 중의 라인의 수평 블랭킹 기간 중에 행하여지도록 하여도 좋다. 예를 들면 도 49의 1프레임째의 소정의 라인의 최후미에 부가된 Idle Code의 기간이, 수평 블랭킹 기간에 상당한다.
이에 의해, 무효 프레임의 전송이 없는 간이형 Mode Change에 의한 파라미터의 변경을, 라인 단위로 행하게 하는 것이 가능해진다.
이상과 같이, 무효 프레임의 전송을 발생시키지 않도록 함에 의해, 데이터의 전송 효율의 저하를 막는 것이 가능해진다.
·(3-2) Packet Header을 이용하여 설정 변경 플래그를 전송하는 예
무효 프레임의 전송이 없는 간이형 Mode Change에서, 파라미터의 변경이 생긴 것이, 헤더에 격납된 설정 변경 플래그를 이용하여 송신측부터 수신측에 통지되도록 하여도 좋다.
수신부(31)에서는, 헤더의 해석이 행하여지고, 설정 변경 플래그에 의거하여 파라미터의 변경이 생기고 있는지의 여부의 검출이 행하여진다. 파라미터의 변경이 생기고 있는 것이 검출된 경우, 레지스터(142)에 설정된 변경 후의 파라미터를 판독하여 데이터의 수신 동작에 반영시키는 처리가 행하여진다.
후에 상세히 기술하지만, 이 경우의 시퀀스는, Config의 출력에 응하여 행하여지는 처리가 다른 점을 제외하고, 도 49를 참조하여 설명한 시퀀스와 기본적으로 같은 시퀀스가 된다.
도 50은, 헤더에 격납되는 정보의 예를 도시하는 도면이다.
도 50에 도시하는 각 정보는, 영역 정보가 포함되지 않는 점에서, 도 32에 도시하는 정보와 다르다. 도 50의 예에서는, 데이터 식별을 나타내는 데이터 정보가 4비트로서 정의되어 있다. Reserved는 27비트가 된다. 설정 변경 플래그는, 27비트의 리저브 영역(Reserved)을 이용하여 설정된다.
도 51은, 리저브 영역의 27비트([26 : 0])의 할당의 예를 도시하는 도면이다.
도 51에 도시하는 바와 같이, 리저브 영역의 27비트 중의 상위 3비트([26 : 24])는, Information Type으로서 할당된다.
Information Type([2 : 0])의 값이 000(3'd0)인 것은, 리저브 영역이, 설정 변경 플래그의 설정에 이용되지 않는 것을 나타낸다. 예를 들면, 수신측에서 설정 변경 플래그의 값을 해석할 수 없는 경우, Information Type의 값으로서 000이 설정된다. 이에 의해, 수신측의 성능의 차이에 의한 호환성을 확보하는 것이 가능해진다.
Information Type의 값이 001(3'd1)인 것은, 리저브 영역이, 설정 변경 플래그로서의 Parameter Change Indicator의 설정에 이용되고 있는 것을 나타낸다.
리저브 영역의 27비트 중의 상위 4비트째 이후의 24비트([23 : 0])는, Additional Information으로서 할당된다.
도 52는, Information Type의 값이 001인 경우의 Additional Information의 예를 도시하는 도면이다.
Additional Information으로서 할당된 24비트 중의 최상위 비트([23])는, Parameter Change Indicator에 할당된다.
Parameter Change Indicator의 값이 1(1'b1)인 것은, 파라미터의 변경이 생겨 있는 것을 나타낸다.
무효 프레임의 전송이 없는 간이형 Mode Change를 행하는 경우, 즉, Pixel Bit, Line Length, ECC Option, CRC Option 중의 어느 하나의 파라미터의 변경이 생긴 경우, Parameter Change Indicator의 값으로서 1이 설정된 헤더를 포함하는 패킷이 소정의 타이밍에서 생성되어 송신된다.
한편, Parameter Change Indicator의 값이 0(1'b0)인 것은, 파라미터의 변경이 생기지 않은 것을 나타낸다.
또한, Additional Information으로서 할당된 24비트 중의 최상위 비트 이외([22 : 0])는 Reserved가 된다.
여기서, 도 53의 시퀀스도를 참조하여 파라미터의 변경이 생긴 것을 Parameter Change Indicator을 이용하여 통지한 경우의 간이형 Mode Change시의 각 부분의 처리에 관해 설명한다.
파라미터의 변경이 촬상부(21)와 화상 처리부(32)의 사이에서 행하여진 후, 스텝 S501에서, 촬상부(21)는, 변경 후의 파라미터를 레지스터(53)에 설정한다.
한편, 스텝 S531에서, 화상 처리부(32)는, 변경 후의 파라미터를 레지스터(142)에 설정한다.
스텝 S532에서, 화상 처리부(32)는, 수신부(31)에 대해 Config를 출력한다. 여기서 출력되는 Config는, 변경 후의 파라미터가 레지스터(142)에 설정된 것(Write new setting)을 통지하는 것이고, 레지스터(142)로부터 파라미터를 판독하여 반영하는 것을 수신부(31)에 대해 요구하는 것이 아니다. 수신부(31)에 대한 Config의 출력은, 예를 들면 1프레임째의 소정의 라인의 전송 중에 행하여진다.
스텝 S521에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Config를 수신한다.
스텝 S533에서, 화상 처리부(32)는, 촬상부(21)에 대해 Mode Change를 발행한다. Mode Change의 발행도, 예를 들면 1프레임째의 소정의 라인의 전송 중에 행하여진다.
스텝 S502에서, 촬상부(21)는, Mode Change의 발행을 수신한다.
스텝 S503에서, 촬상부(21)는, 송신부(22)에 대해 Config를 출력한다. 여기서 출력되는 Config는, 변경 후의 파라미터가 레지스터(53)에 설정된 것(Write new setting)을 통지하는 것이고, 레지스터(53)로부터 파라미터를 판독하여 반영하는 것을 송신부(22)에 대해 요구하는 것이 아니다.
스텝 S511에서, 송신부(22)는, 촬상부(21)로부터 출력된 Config를 수신한다.
예를 들면 1프레임째의 최후의 라인의 송신이 종료된 스텝 S512에서, 송신부(22)는, 레지스터(53)로부터 파라미터를 판독하여 데이터의 송신 동작에 반영시킨다. 상태 제어부(71)는, 링크 레이어의 각 부분을 제어하고, 새롭게 설정된 파라미터에 응한 처리를 행하게 한다.
변경된 파라미터가 Pixel Bit, Line Length, ECC Option, CRC Option 중의 어느 하나인 경우, 스텝 S513에서, 송신부(22)의 상태 제어부(71)는, 링크 레이어의 상태를 간이형 Mode Change를 실행하는 상태로 한다.
스텝 S514에서, 송신부(22)의 패킷 생성부(64)는, 2프레임째의 선두 라인의 데이터를 페이로드에 격납하고, Parameter Change Indicator의 값으로서 1을 설정한 헤더를 부가함에 의해 패킷을 생성한다. Parameter Change Indicator의 값으로서 1이 설정된 헤더는, 헤더 생성부(72)에 의해 생성되고, 패킷 생성부(64)에 대해 공급된다.
즉, 이 예에서는, Parameter Change Indicator은, 어느 프레임의 선두 라인의 패킷의 헤더에 설정된다.
스텝 S515에서, 송신부(22)는, 선두 라인의 패킷을 송신한다. 선두 라인의 패킷을 구성하는 패킷 데이터는 데이터 스트림으로서 수신부(31)에 대해 공급된다.
스텝 S522에서, 수신부(31)는, 송신부(22)로부터 송신된 데이터 스트림에 대해 처리를 시행하고, 선두 라인의 패킷을 수신한다. 선두 라인의 패킷은 패킷 분리부(123)에 의해 분리되고, 헤더를 구성하는 각 정보가 예를 들면 상태 제어부(131)에 공급된다.
스텝 S523에서, 상태 제어부(131)는, 헤더를 해석하고, Parameter Change Indicator의 값으로서 1이 설정되어 있는 것에 의거하여 Pixel Bit, Line Length, ECC Option, CRC Option 중의 어느 하나의 파라미터의 변경이 생기고 있는 것을 검출한다.
스텝 S524에서, 상태 제어부(131)는, 파라미터의 변경이 생기고 있는 것을 검출한 것에 응하여 레지스터(142)로부터 파라미터를 판독하여 데이터의 수신 동작에 반영시킨다. 상태 제어부(131)는, 링크 레이어의 각 부분을 제어하고, 새롭게 설정된 파라미터에 응한 처리를 행하게 한다. 이에 의해, 송신부(22)와 수신부(31)의 쌍방에서 파라미터의 변경이 반영된 상태가 된다.
스텝 S516에서, 송신부(22)는, 유효 프레임의 각 라인의 패킷을 송신한다.
한편, 스텝 S525에서, 수신부(31)는, 송신부(22)로부터 송신된 각 라인의 패킷을 수신한다. 그 후, 송신부(22)와 수신부(31)의 사이에서는 유효 프레임의 송수신이 계속된다.
이와 같이, 어느 프레임의 선두 라인의 패킷의 헤더를 이용하여 Parameter Change Indicator을 전송함에 의해, 당해 선두 라인 이후에서 파라미터의 변경이 생겨 있는 것인지의 여부를 송신측부터 수신측에 통지하는 것이 가능해진다.
또한, 무효 프레임의 전송이 없는 간이형 Mode Change에 의한 파라미터의 변경을, 프레임 단위로 행하게 하는 것이 가능해진다.
Parameter Change Indicator을 이용한 통지가 어느 프레임의 선두 라인의 패킷의 헤더를 이용하여 행하여지는 것이 아니고, 각 라인의 패킷의 헤더를 이용하여 행하여지도록 하여도 좋다.
이에 의해, 무효 프레임의 전송이 없는 간이형 Mode Change에 의한 파라미터의 변경을, 라인 단위로 행하게 하는 것이 가능해진다.
Parameter Change Indicator이 도 51을 참조하여 설명한 바와 같이 하여 설정되도록 함에 의해, 후방 호환성을 유지하면서, 새로운 정보를 수신측에 전송하는 것이 가능해진다.
또한, 27비트의 리저브 영역을, Information type의 영역과 Additional Information의 영역으로 나눔으로써, 확장성을 남겨 두는 것이 가능해진다.
·(3-3) Packet Header을 이용하여 파라미터를 전송하는 예
패킷에 부가되는 헤더를 이용하여 파라미터 자체가 송신측부터 수신측에 통지되도록 하여도 좋다.
도 54는, 리저브 영역의 27비트([26 : 0])의 할당의 다른 예를 도시하는 도면이다.
도 54에 도시하는 바와 같이, 리저브 영역의 27비트 중의 상위 3비트([26 : 24])는, Information Type으로서 할당된다.
Information Type([2 : 0])의 값이 000(3'd0)인 것은, 리저브 영역이, 파라미터의 격납에 이용되지 않는 것을 나타낸다. 예를 들면, 수신측에서, 헤더에 격납된 파라미터를 해석할 수 없는 경우, Information Type의 값으로서 000이 설정된다. 이에 의해, 수신측의 성능의 차이에 의한 호환성을 확보하는 것이 가능해진다.
Information Type의 값이 001(3'd1)인 것은, 리저브 영역이, 파라미터로서의 Link Parameters의 격납에 이용되어 있는 것을 나타낸다.
리저브 영역의 27비트 중의 상위 4비트째 이후의 24비트([23 : 0])는, Additional Information으로서 할당된다.
도 55는, Information Type의 값이 001인 경우의 Additional Information의 예를 도시하는 도면이다.
Additional Information으로서 할당된 24비트 중의 상위 3비트([23 : 21])는, Pixel Bit에 할당된다. 3비트를 이용하여 1화소의 비트수가 나타난다.
Pixel Bit의 값이 000(3'd0)인 것은, 1화소가 8비트로 표시되는 것을 나타낸다. Pixel Bit의 값이 001(3'd1)인 것은, 1화소가 10비트로 표시되는 것을 나타낸다. Pixel Bit의 값이 010(3'd2)인 것은, 1화소가 12비트로 표시되는 것을 나타낸다. Pixel Bit의 값이 011(3'd3)인 것은, 1화소가 14비트로 표시되는 것을 나타낸다. Pixel Bit의 값이 100(3'd4)인 것은, 1화소가 1비트로 표시되는 것을 나타낸다.
Additional Information으로서 할당된 24비트 중의 18비트([20 : 3])는, Line Length에 할당된다. 18비트를 이용하여 1라인당의 화소수가 나타난다.
Additional Information으로서 할당된 24비트 중의 2비트([2 : 1])는, ECC Option에 할당된다. 2비트를 이용하여 ECC Option의 종류가 나타난다.
ECC Option의 값이 00(2'd0)인 것은, ECC Option의 종류가 ECC Option 0인 것을 나타낸다. ECC Option의 값이 01(2'd1)인 것은, ECC Option의 종류가 ECC Option 1인 것을 나타낸다. ECC Option의 값이 10(2'd2)인 것은, ECC Option의 종류가 ECC Option 2인 것을 나타낸다.
Additional Information으로서 할당된 24비트 중의 최하위의 1비트([0])는, CRC Option에 할당된다. 1비트를 이용하여 CRC Option의 ON/OFF가 나타난다.
CRC Option의 값이 1(1'b1)인 것은, CRC Option이 ON인 것을 나타낸다. CRC Option의 값이 0(1'b0)인 것은, CRC Option이 OFF인 것을 나타낸다.
이와 같이, 패킷의 헤더에는, Pixel Bit, Line Length, ECC Option, CRC Option인 Link Parameters가 설정된다.
여기서, 도 56의 시퀀스도를 참조하여 Link Parameters를 헤더를 이용하여 통지한 경우의 간이형 Mode Change시의 각 부분의 처리에 관해 설명한다. 도 56에 도시하는 처리 중, 도 53을 참조하여 설명한 처리와 같은 처리의 설명에 관해서는 적절히 생략한다.
파라미터의 변경이 촬상부(21)와 화상 처리부(32) 사이에서 행하여진 후, 스텝 S551에서, 촬상부(21)는, 변경 후의 파라미터를 레지스터(53)에 설정한다.
한편, 스텝 S581에서, 화상 처리부(32)는, 변경 후의 파라미터를 레지스터(142)에 설정한다.
스텝 S582에서, 화상 처리부(32)는, 수신부(31)에 대해 Config를 출력한다. 여기서 출력된 Config는, 변경 후의 파라미터가 레지스터(142)에 설정된 것을 통지하는 것이다. 수신부(31)에 대한 Config의 출력은, 예를 들면 1프레임째의 소정의 라인의 전송 중에 행하여진다.
스텝 S571에서, 수신부(31)는, 화상 처리부(32)로부터 출력된 Config를 수신한다.
스텝 S583에서, 화상 처리부(32)는, 촬상부(21)에 대해 Mode Change를 발행한다. Mode Change의 발행도, 예를 들면 1프레임째의 소정의 라인의 전송 중에 행하여진다.
스텝 S552에서, 촬상부(21)는, Mode Change의 발행을 수신한다.
스텝 S553에서, 촬상부(21)는, 송신부(22)에 대해 Config를 출력한다. 여기서 출력되는 Config는, 변경 후의 파라미터가 레지스터(53)에 설정된 것을 통지하는 것이다.
스텝 S561에서, 송신부(22)는, 촬상부(21)로부터 출력된 Config를 수신한다.
1프레임째의 최후의 라인의 송신이 종료된 스텝 S562에서, 송신부(22)는, 레지스터(53)로부터 파라미터를 판독하여 데이터의 송신 동작에 반영시킨다. 상태 제어부(71)는, 링크 레이어의 각 부분을 제어하여 새롭게 설정된 파라미터에 응한 처리를 행하게 한다.
변경된 파라미터가 Pixel Bit, Line Length, ECC Option, CRC Option 중의 어느 하나인 경우, 스텝 S563에서, 송신부(22)의 상태 제어부(71)는, 링크 레이어의 상태를 간이형 Mode Change를 실행하는 상태로 한다.
스텝 S564에서, 송신부(22)의 패킷 생성부(64)는, 2프레임째의 선두 라인의 데이터를 페이로드에 격납하고, Link Parameters를 포함하는 헤더를 부가함에 의해 패킷을 생성한다. Link Parameters의 각 값을 포함하는 헤더는, 헤더 생성부(72)에 의해 생성되고, 패킷 생성부(64)에 대해 공급된다.
스텝 S565에서, 송신부(22)는, 선두 라인의 패킷을 송신한다. 선두 라인의 패킷을 구성하는 패킷 데이터는 데이터 스트림으로서 수신부(31)에 대해 공급된다.
스텝 S572에서, 수신부(31)는, 송신부(22)로부터 송신된 데이터 스트림에 대해 처리를 시행하고, 선두 라인의 패킷을 수신한다. 선두 라인의 패킷은 패킷 분리부(123)에 의해 분리되고, 헤더를 구성하는 각 정보가 예를 들면 상태 제어부(131)에 공급된다.
스텝 S573에서, 상태 제어부(131)는, 헤더를 해석하고, Link Parameters가 포함되어 있는 것을 검출한다.
스텝 S574에서, 상태 제어부(131)는, Link Parameters를 데이터의 수신 동작에 반영시켜, Link Parameters에 응한 처리를 링크 레이어의 각 부분에 행하게 한다. 이에 의해, 송신부(22)와 수신부(31)의 쌍방에서 파라미터의 변경이 반영된 상태가 된다.
스텝 S566에서, 송신부(22)는, 유효 프레임의 각 라인의 패킷을 송신한다.
한편, 스텝 S575에서, 수신부(31)는, 송신부(22)로부터 송신된 각 라인의 패킷을 수신한다. 그 후, 송신부(22)와 수신부(31)의 사이에서는 유효 프레임의 송수신이 계속된다.
이와 같이, 어느 프레임의 선두 라인의 패킷의 헤더를 이용하여 Link Parameters를 전송함에 의해, 프레임 단위로, 변경 후의 파라미터를 송신측부터 수신측에 통지하는 것이 가능해진다.
Link Parameters의 통지가 어느 프레임의 선두 라인의 패킷의 헤더를 이용하여 행하여지는 것이 아니라, 각 라인의 패킷의 헤더를 이용하여 행하여지도록 하여도 좋다.
이에 의해, 무효 프레임의 전송이 없는 간이형 Mode Change에 의한 파라미터의 변경을, 라인 단위로 행하게 하는 것이 가능해진다.
Link Parameters가 도 54를 참조하여 설명한 바와 같이 하여 설정되도록 함에 의해, 후방 호환성을 유지하면서, 새로운 정보를 수신측에 전송하는 것이 가능해진다.
또한, 헤더를 이용한 Link Parameters의 전송이, 파라미터의 변경이 생기고, 간이형 Mode Change를 행하는 경우에만 행하여지고, 파라미터의 변경이 생기지 않은 경우에는 행하여지지 않도록 하여도 좋다.
헤더의 리저브 영역의 할당은, 상술한 예로 한정되는 것이 아니다. 예를 들면, Parameter Change Indicator을 격납하는 경우, 리저브 영역의 27비트 중의 선두의 1비트가 Parameter Change Indicator으로서 할당되도록 하는 것이 가능하다. 또한, Link Parameters로서 헤더를 이용하여 전송되는 정보에 대해서도, 도 55를 참조하여 설명한 정보로 한정되는 것이 아니고, 다른 정보가 전송되도록 하여도 좋다.
<3.변형례>
상술한 복수의 레인을 사용한 칩 사이의 데이터 전송은, 화상 데이터뿐만 아니라, 음성 데이터, 텍스트 데이터 등의 각종의 데이터의 전송에도 이용할 수 있다.
이상에서는, 이미지 센서(11)와 DSP(12)가 동일한 장치 내에 마련되는 것으로 하였지만, 각각 다른 장치 내에 마련되도록 하여도 좋다.
·컴퓨터의 구성례
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는 범용의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.
도 57은, 상술한 일련의 처리를 프로그램에 의해 실행한 컴퓨터의 하드웨어의 구성례를 도시하는 블록도이다.
CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은, 버스(1004)에 의해 상호 접속되어 있다.
버스(1004)에는, 또한, 입출력 인터페이스(1005)가 접속되어 있다. 입출력 인터페이스(1005)에는, 키보드, 마우스 등으로 이루어지는 입력부(1006), 디스플레이, 스피커 등으로 이루어지는 출력부(1007)가 접속된다. 또한, 입출력 인터페이스(1005)에는, 하드 디스크나 불휘발성의 메모리 등으로 이루어지는 기억부(1008), 네트워크 인터페이스 등으로 이루어지는 통신부(1009), 리무버블 미디어(1011)를 구동하는 드라이브(1010)가 접속된다.
이상과 같이 구성된 컴퓨터에서는, CPU(1001)가 예를 들면, 기억부(1008)에 기억되어 있는 프로그램을 입출력 인터페이스(1005) 및 버스(1004)를 통하여 RAM(1003)에 로드하여 실행함에 의해, 상술한 일련의 처리가 행하여진다.
CPU(1001)가 실행하는 프로그램은, 예를 들면 리무버블 미디어(1011)에 기록하여 또는, 로컬 에어리어 네트워크, 인터넷, 디지털 방송이라는, 유선 또는 무선의 전송 매체를 통하여 제공되고, 기억부(1008)에 인스톨된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이라도 좋고, 병렬로, 또는 호출이 행하여진 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이라도 좋다.
본 기술의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이고 한정되는 것이 아니며, 또한 다른 효과가 있어도 좋다.
<4. 응용례>
본 개시에 관한 기술은, 다양한 제품에 응용할 수 있다. 예를 들면, 본 개시에 관한 기술은, 내시경 수술 시스템에 적용되어도 좋다. 이 경우, 상술한 이미지 센서(11)는, 내시경측의 몸체 내에 마련되고, DSP(12)는, 내시경으로부터 송신되어 온 화상 데이터의 처리를 행하는 화상 처리 장치측의 몸체 내에 마련된다.
도 58은, 본 개시에 관한 기술이 적용될 수 있는 내시경 수술 시스템(5000)의 개략적인 구성의 한 예를 도시하는 도면이다. 도 58에서는, 수술자(의사)(5067)가 내시경 수술 시스템(5000)을 이용하여 환자 베드(5069)상의 환자(5071)에게 수술을 행하고 있는 양상이 도시되어 있다. 도시하는 바와 같이, 내시경 수술 시스템(5000)은, 내시경(5001)과, 그 밖의 수술구(5017)와, 내시경(5001)을 지지하는 지지 암 장치(5027)와, 내시경하 수술을 위한 각종의 장치가 탑재된 카트(5037)로 구성된다.
내시경 수술에서는, 복벽을 잘라서 개복하는 대신에, 트로카(5025a∼5025d)라고 불리는 통형상의 개공(開孔) 기구가 복벽에 복수 천자(穿刺)된다. 그리고, 트로카(5025a∼5025d)로부터, 내시경(5001)의 경통(5003)이나, 그 밖의 수술구(5017)가 환자(5071)의 체강 내에 삽입된다. 도시한 예에서는, 그 밖의 수술구(5017)로서, 기복 튜브(5019), 에너지 처치구(5021) 및 겸자(鉗子)(5023)가 환자(5071)의 체강 내에 삽입되어 있다. 또한, 에너지 처치구(5021)는, 고주파 전류나 초음파 진동에 의해, 조직의 절개 및 박리, 또는 혈관의 봉지 등을 행하는 처치구이다. 단, 도시한 수술구(5017)는 어디까지나 한 예이고, 수술구(5017)로서는, 예를 들면 섭자(攝子), 리트렉터 등, 일반적으로 내시경하 수술에서 이용되는 각종의 수술구가 이용되어도 좋다.
내시경(5001)에 의해 촬영된 환자(5071)의 체강 내의 수술부의 화상이, 표시 장치(5041)에 표시된다. 수술자(5067)는, 표시 장치(5041)에 표시된 수술부의 화상을 리얼타임으로 보면서, 에너지 처치구(5021)나 겸자(5023)를 이용하여 예를 들면 환부를 절제하는 등의 처치를 행하다. 또한, 도시는 생략하고 있지만, 기복 튜브(5019), 에너지 처치구(5021) 및 겸자(5023)는, 수술 중에, 수술자(5067) 또는 조수 등에 의해 지지된다.
(지지 암 장치)
지지 암 장치(5027)는, 베이스부(5029)로부터 연신하는 암부(5031)를 구비한다. 나타낸 예에서는, 암부(5031)는, 관절부(533a), 5033b, 5033c) 및 링크(5035a, 5035b)로 구성되어 있고, 암 제어 장치(5045)로부터의 제어에 의해 구동된다. 암부(5031)에 의해 내시경(5001)이 지지되고, 그 위치 및 자세가 제어된다. 이에 의해, 내시경(5001)의 안정적인 위치의 고정이 실현될 수 있는다.
(내시경)
내시경(5001)은, 선단부터 소정 길이의 영역이 환자(5071)의 체강 내에 삽입되는 경통(5003)과, 경통(5003)의 기단에 접속되는 카메라 헤드(5005)로 구성된다. 도시하는 예에서는, 경성의 경통(5003)을 갖는 이른바 경성경으로서 구성된 내시경(5001)을 도시하고 있지만, 내시경(5001)은, 연성의 경통(5003)을 갖는 이른바 연성경으로서 구성되어도 좋다.
경통(5003)의 선단에는, 대물 렌즈가 감입된 개구부가 마련되어 있다. 내시경(5001)에는 광원 장치(5043)가 접속되어 있고, 당해 광원 장치(5043)에 의해 생성된 광이, 경통(5003)의 내부로 연설되는 라이트 가이드에 의해 당해 경통의 선단까지 도광되고, 대물 렌즈를 통하여 환자(5071)의 체강 내의 관찰 대상을 향하여 조사된다. 또한, 내시경(5001)은, 직시경이라도 좋고, 사시경 또는 측시경이라도 좋다.
카메라 헤드(5005)의 내부에는 광학계 및 촬상 소자가 마련되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 당해 광학계에 의해 당해 촬상 소자에 집광된다. 당해 촬상 소자에 의해 관찰광이 광전변환되어 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 당해 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU : Camera Control Unit)(5039)에 송신된다. 또한, 카메라 헤드(5005)에는, 그 광학계를 적절히 구동시킴에 의해, 배율 및 초점 거리를 조정하는 기능이 탑재된다.
또한, 예를 들면 입체시(3D 표시) 등에 대응하기 위해, 카메라 헤드(5005)에는 촬상 소자가 복수 마련되어도 좋다. 이 경우, 경통(5003)의 내부에는, 당해 복수의 촬상 소자의 각각에 관찰광을 도광하기 위해, 릴레이 광학계가 복수계통 마련된다.
(카트에 탑재되는 각종의 장치)
CCU(5039)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되고, 내시경(5001) 및 표시 장치(5041)의 동작을 통괄적으로 제어한다. 구체적으로는, CCU(5039)는, 카메라 헤드(5005)로부터 수취한 화상 신호에 대해, 예를 들면 현상 처리(디모자이크 처리) 등의 당해 화상 신호에 의거한 화상을 표시하기 위한 각종의 화상 처리를 시행한다. CCU(5039)는, 당해 화상 처리를 시행한 화상 신호를 표시 장치(5041)에 제공한다. 또한, CCU(5039)는, 카메라 헤드(5005)에 대해 제어 신호를 송신하고, 그 구동을 제어한다. 당해 제어 신호에는, 배율이나 초점 거리 등, 촬상 조건에 관한 정보가 포함될 수 있는다.
표시 장치(5041)는, CCU(5039)로부터의 제어에 의해, 당해 CCU(5039)에 의해 화상 처리가 시행된 화상 신호에 의거한 화상을 표시한다. 내시경(5001)이 예를 들면 4K(수평 화소수 3840×수직 화소수 2160) 또는 8K(수평 화소수 7680×수직 화소수 4320) 등의 고해상도의 촬영에 대응한 것인 경우 및/또는 3D 표시에 대응한 것인 경우에는, 표시 장치(5041)로서는, 각각에 대응하여 고해상도의 표시가 가능한 것 및/또는 3D 표시 가능한 것이 이용될 수 있는다. 4K 또는 8K 등의 고해상도의 촬영에 대응한 것인 경우, 표시 장치(5041)로서 55인치 이상의 사이즈의 것을 이용함으로써 더한층의 몰입감을 얻을 수 있다. 또한, 용도에 응하여 해상도, 사이즈가 다른 복수의 표시 장치(5041)가 마련되어도 좋다.
광원 장치(5043)는, 예를 들면 LED(light emitting diode) 등의 광원으로 구성되고, 수술부를 촬영할 때의 조사광을 내시경(5001)에 공급한다.
암 제어 장치(5045)는, 예를 들면 CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함에 의해, 소정의 제어 방식에 따라 지지 암 장치(5027)의 암부(5031)의 구동을 제어한다.
입력 장치(5047)는, 내시경 수술 시스템(5000)에 대한 입력 인터페이스이다. 유저는, 입력 장치(5047)를 통하여 내시경 수술 시스템(5000)에 대해 각종의 정보의 입력이나 지시 입력을 행할 수가 있다. 예를 들면, 유저는, 입력 장치(5047)를 통하여 환자의 신체 정보나, 수술의 수술방식에 관한 정보 등, 수술에 관한 각종의 정보를 입력한다. 또한, 예를 들면, 유저는, 입력 장치(5047)를 통하여 암부(5031)를 구동시키는 취지의 지시나, 내시경(5001)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)를 변경하는 취지의 지시, 에너지 처치구(5021)를 구동시키는 취지의 지시 등을 입력한다.
입력 장치(5047)의 종류는 한정되지 않고, 입력 장치(5047)는 각종 공지의 입력 장치라도 좋다. 입력 장치(5047)로서는, 예를 들면, 마우스, 키보드, 터치 패널, 스위치, 풋 스위치(5057) 및/또는 레버 등이 적용될 수 있는다. 입력 장치(5047)로서 터치 패널이 이용되는 경우에는, 당해 터치 패널은 표시 장치(5041)의 표시면상에 마련되어도 좋다.
또는, 입력 장치(5047)는, 예를 들면 안경형의 웨어러블 디바이스나 HMD(Head Mounted Display) 등의 유저에 의해 장착되는 디바이스이고, 이러한 디바이스에 의해 검출된 유저의 제스처나 시선에 응하여 각종의 입력이 행하여진다. 또한, 입력 장치(5047)는, 유저의 움직임을 검출 가능한 카메라를 포함하고, 당해 카메라에 의해 촬상된 영상으로부터 검출되는 유저의 제스처나 시선에 응하여 각종의 입력이 행하여진다. 또한, 입력 장치(5047)는, 유저의 소리를 수음(收音) 가능한 마이크로폰을 포함하고, 당해 마이크로폰을 통하여 음성에 의해 각종의 입력이 행하여진다. 이와 같이, 입력 장치(5047)가 비접촉으로 각종의 정보를 입력 가능하게 구성됨에 의해, 특히 청결역에 속한 유저(예를 들면 수술자(5067))가 불결역에 속한 기기를 비접촉으로 조작하는 것이 가능해진다. 또한, 유저는, 소지하고 있는 수술구로부터 손을 떼는 일 없이 기기를 조작하는 것이 가능해지기 때문에, 유저의 편리성이 향상한다.
처치구 제어 장치(5049)는, 조직의 소작(燒灼), 절개 또는 혈관의 봉지 등을 위해 에너지 처치구(5021)의 구동을 제어한다. 기복 장치(5051)는, 내시경(5001)에 의한 시야의 확보 및 수술자의 작업 공간의 확보의 목적으로, 환자(5071)의 체강을 팽창시키기 위해, 기복 튜브(5019)를 통하여 당해 체강 내에 가스를 보낸다. 레코더(5053)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(5055)는, 수술에 관한 각종의 정보를 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
이하, 내시경 수술 시스템(5000)에 있어서 특히 특징적인 구성에 관해, 더욱 상세히 설명한다.
(지지 암 장치)
지지 암 장치(5027)는, 기대인 베이스부(5029)와, 베이스부(5029)로부터 연신하는 암부(5031)를 구비한다. 도시한 예에서는, 암부(5031)는, 복수의 관절부(533a), 5033b, 5033c)와, 관절부(5033b)에 의해 연결되는 복수의 링크(5035a, 5035b)로 구성되어 있지만, 도 58에서는, 간단함을 위해, 암부(5031)의 구성을 간략화하여 도시하고 있다. 실제로는, 암부(5031)가 소망하는 자유도를 갖도록, 관절부(5033a∼5033c) 및 링크(5035a, 5035b)의 형상, 수 및 배치 및 관절부(5033a∼5033c)의 회전축의 방향 등이 적절히 설정될 수 있는다. 예를 들면, 암부(5031)는, 알맞게는, 6자유도 이상의 자유도를 갖도록 구성될 수 있는다. 이에 의해, 암부(5031)의 가동 범위 내에서 내시경(5001)을 자유롭게 이동시키는 것이 가능해지기 때문에, 소망하는 방향부터 내시경(5001)의 경통(5003)을 환자(5071)의 체강 내에 삽입하는 것이 가능해진다.
관절부(5033a∼5033c)에는 액추에이터가 마련되어 있고, 관절부(5033a∼5033c)는 당해 액추에이터의 구동에 의해 소정의 회전축 주위로 회전 가능하게 구성되어 있다. 당해 액추에이터의 구동이 암 제어 장치(5045)에 의해 제어됨에 의해, 각 관절부(5033a∼5033c)의 회전 각도가 제어되고, 암부(5031)의 구동이 제어된다. 이에 의해, 내시경(5001)의 위치 및 자세의 제어가 실현될 수 있는다. 이때, 암 제어 장치(5045)는, 힘 제어 또는 위치 제어 등, 각종의 공지의 제어 방식에 의해 암부(5031)의 구동을 제어할 수 있다.
예를 들면, 수술자(5067)가 입력 장치(5047)(풋 스위치(5057)를 포함한다)를 통하여 적절히 조작 입력을 행함에 의해, 당해 조작 입력에 응하여 암 제어 장치(5045)에 의해 암부(5031)의 구동이 적절히 제어되고, 내시경(5001)의 위치 및 자세가 제어되어도 좋다. 당해 제어에 의해, 암부(5031)의 선단의 내시경(5001)을 임의의 위치로부터 임의의 위치까지 이동시킨 후, 그 이동 후의 위치에서 고정적으로 지지할 수 있다. 또한, 암부(5031)는, 이른바 마스터-슬레이브 방식으로 조작되어도 좋다. 이 경우, 암부(5031)는, 수술실로부터 떨어진 장소에 마련된 입력 장치(5047)를 통하여 유저에 의해 원격 조작될 수 있는다.
또한, 힘 제어가 적용되는 경우에는, 암 제어 장치(5045)는, 유저로부터의 외력을 받고, 그 외력을 모방하여 스무스하게 암부(5031)가 이동하도록, 각 관절부(5033a∼5033c)의 액추에이터를 구동시키는, 이른바 파워 어시스트 제어를 행하여도 좋다. 이에 의해, 유저가 직접 암부(5031)에 접촉하면서 암부(5031)를 이동시킬 때에, 비교적 가벼운 힘으로 당해 암부(5031)를 이동시킬 수 있다. 따라서, 보다 직감적으로, 보다 간이한 조작으로 내시경(5001)을 이동시키는 것이 가능해져서, 유저의 편리성을 향상시킬 수 있다.
여기서, 일반적으로, 내시경하 수술에서는, 스코피스트라고 불리는 의사에 의해 내시경(5001)이 지지되어 있다. 이것에 대해, 지지 암 장치(5027)를 이용함에 의해, 사람손에 의하지 않고 내시경(5001)의 위치를 보다 확실하게 고정하는 것이 가능해지기 때문에, 수술부의 화상을 안정적으로 얻을 수 있고, 수술을 원활히 행하는 것이 가능해진다.
또한, 암 제어 장치(5045)는 반드시 카트(5037)에 마련되지 않아도 좋다. 또한, 암 제어 장치(5045)는 반드시 하나의 장치가 아니라도 좋다. 예를 들면, 암 제어 장치(5045)는, 지지 암 장치(5027)의 암부(5031)의 각 관절부(5033a∼5033c)에 각각 마련되어도 좋고, 복수의 암 제어 장치(5045)가 서로 협동함에 의해, 암부(5031)의 구동 제어가 실현되어도 좋다.
(광원 장치)
광원 장치(5043)는, 내시경(5001)에 수술부를 촬영할 때의 조사광을 공급한다. 광원 장치(5043)는, 예를 들면 LED, 레이저광원 또는 이들의 조합에 의해 구성되는 백색광원으로 구성된다. 이때, RGB 레이저광원의 조합에 의해 백색광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(5043)에서 촬상 화상의 화이트 밸런스의 조정을 행할 수가 있다. 또한, 이 경우에는, RGB 레이저광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(5005)의 촬상 소자의 구동을 제어함에 의해, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 당해 방법에 의하면, 당해 촬상 소자에 컬러 필터를 마련하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(5043)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 좋다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(5005)의 촬상 소자의 구동을 제어하여 시분할로 화상을 취득하고, 그 화상을 합성함에 의해, 이른바 흑바램 및 백바램이 없는 고다이내믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(5043)는, 특수광 관찰에 대응한 소정의 파장 대역의 광을 공급 가능하게 구성되어도 좋다. 특수광 관찰에서는, 예를 들면, 체조직에서의 광의 흡수의 파장 의존성을 이용하여 통상의 관찰시에 있어서의 조사광(즉, 백색광)에 비하여 협대역의 광을 조사함에 의해, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역 광관찰(Narrow Band Imaging)이 행하여진다. 또는, 특수광 관찰에서는, 여기광을 조사함에 의해 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행하여져도 좋다. 형광 관찰에서는, 체조직에 여기광을 조사하여 당해 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도시아닌그린(ICG) 등의 시약을 체조직에 국주(局注)함과 함께 당해 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사하여 형광상을 얻는 것 등이 행하여질 수 있다. 광원 장치(5043)는, 이와 같은 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하게 구성될 수 있는다.
(카메라 헤드 및 CCU)
도 59를 참조하여 내시경(5001)의 카메라 헤드(5005) 및 CCU(5039)의 기능에 관해보다 상세히 설명한다. 도 59는, 도 58에 도시하는 카메라 헤드(5005) 및 CCU(5039)의 기능 구성의 한 예를 도시하는 블록도이다.
도 59를 참조하면, 카메라 헤드(5005)는, 그 기능으로서, 렌즈 유닛(5007)과, 촬상부(5009)와, 구동부(5011)와, 통신부(5013)와, 카메라 헤드 제어부(5015)를 갖는다. 또한, CCU(5039)는, 그 기능으로서, 통신부(5059)와, 화상 처리부(5061)와, 제어부(5063)를 갖는다. 카메라 헤드(5005)와 CCU(5039)는, 전송 케이블(5065)에 의해 쌍방향 통신 가능하게 접속되어 있다.
우선, 카메라 헤드(5005)의 기능 구성에 관해 설명한다. 렌즈 유닛(5007)은, 경통(5003)과의 접속부에 마련되는 광학계이다. 경통(5003)의 선단부터 받아들여진 관찰광은, 카메라 헤드(5005)까지 도광되어 당해 렌즈 유닛(5007)에 입사한다. 렌즈 유닛(5007)은, 줌렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다. 렌즈 유닛(5007)은, 촬상부(5009)의 촬상 소자의 수광면상에 관찰광을 집광하도록, 그 광학 특성이 조정되어 있다. 또한, 줌렌즈 및 포커스 렌즈는, 촬상 화상의 배율 및 초점의 조정을 위해, 그 광축상의 위치가 이동 가능하게 구성된다.
촬상부(5009)는 촬상 소자에 의해 구성되고, 렌즈 유닛(5007)의 후단에 배치된다. 렌즈 유닛(5007)을 통과한 관찰광은, 당해 촬상 소자의 수광면에 집광되고, 광전변환에 의해, 관찰상에 대응한 화상 신호가 생성된다. 촬상부(5009)에 의해 생성된 화상 신호는, 통신부(5013)에 제공된다.
촬상부(5009)를 구성하는 촬상 소자로서는, 예를 들면 CMOS(Complementary Metal Oxide Semiconductor) 타입의 이미지 센서이고, Bayer 배열을 갖는 컬러 촬영 가능한 것이 이용된다. 또한, 당해 촬상 소자로서는, 예를 들면 4K 이상의 고해상도의 화상의 촬영에 대응 가능한 것이 이용되어도 좋다. 수술부의 화상이 고해상도로 얻어짐에 의해, 수술자(5067)는, 당해 수술부의 양상을 보다 상세히 파악할 수 있고, 수술을 보다 원활히 진행하는 것이 가능해진다.
또한, 촬상부(5009)를 구성하는 촬상 소자는, 3D 표시에 대응하는 우안용 및 좌안용의 화상 신호를 각각 취득하기 위한 한 쌍의 촬상 소자를 갖도록 구성된다. 3D 표시가 행하여짐에 의해, 수술자(5067)는 수술부에서의 생체 조직의 깊이를 보다 정확하게 파악하는 것이 가능해진다. 또한, 촬상부(5009)가 다판식으로 구성된 경우에는, 각 촬상 소자에 대응하여 렌즈 유닛(5007)도 복수 계통 마련된다.
또한, 촬상부(5009)는, 반드시 카메라 헤드(5005)에 마련되지 않아도 좋다. 예를 들면, 촬상부(5009)는, 경통(5003)의 내부에, 대물 렌즈의 직후에 마련되어도 좋다.
구동부(5011)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(5015)로부터의 제어에 의해, 렌즈 유닛(5007)의 줌렌즈 및 포커스 렌즈를 광축에 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(5009)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있는다.
통신부(5013)는, CCU(5039)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5013)는, 촬상부(5009)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(5065)을 통하여 CCU(5039)에 송신한다. 이때, 수술부의 촬상 화상을 저(低)레이텐시로 표시하기 위해, 당해 화상 신호는 광통신에 의해 송신되는 것이 바람직하다. 수술시에는, 수술자(5067)가 촬상 화상에 의해 환부의 상태를 관찰하면서 수술을 행하기 때문에, 보다 안전하고 확실한 수술을 위해서는, 수술부의 동화상이 가능한 한 리얼타임으로 표시되는 것이 요구되기 때문이다. 광통신이 행하여지는 경우에는, 통신부(5013)에는, 전기 신호를 광신호로 변환하는 광전변환 모듈이 마련된다. 화상 신호는 당해 광전변환 모듈에 의해 광신호로 변환된 후, 전송 케이블(5065)을 통하여 CCU(5039)에 송신된다.
또한, 통신부(5013)는, CCU(5039)로부터, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 수신한다. 당해 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상시의 노출치를 지정하는 취지의 정보 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다. 통신부(5013)는, 수신한 제어 신호를 카메라 헤드 제어부(5015)에 제공한다. 또한, CCU(5039)로부터의 제어 신호도, 광통신에 의해 전송되어도 좋다. 이 경우, 통신부(5013)에는, 광신호를 전기 신호로 변환하는 광전변환 모듈이 마련되고, 제어 신호는 당해 광전변환 모듈에 의해 전기 신호로 변환된 후, 카메라 헤드 제어부(5015)에 제공된다.
또한, 상기한 프레임 레이트나 노출치, 배율, 초점 등의 촬상 조건은, 취득된 화상 신호에 의거하여 CCU(5039)의 제어부(5063)에 의해 자동적으로 설정된다. 즉, 이른바 AE(Auto Exposure) 기능, AF(Auto Focus) 기능 및 AWB(Auto White Balance) 기능이 내시경(5001)에 탑재된다.
카메라 헤드 제어부(5015)는, 통신부(5013)를 통하여 수신한 CCU(5039)로부터의 제어 신호에 의거하여 카메라 헤드(5005)의 구동을 제어한다. 예를 들면, 카메라 헤드 제어부(5015)는, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보 및/또는 촬상시의 노광을 지정하는 취지의 정보에 의거하여 촬상부(5009)의 촬상 소자의 구동을 제어한다. 또한, 예를 들면, 카메라 헤드 제어부(5015)는, 촬상 화상의 배율 및 초점을 지정하는 취지의 정보에 의거하여 구동부(5011)를 통하여 렌즈 유닛(5007)의 줌렌즈 및 포커스 렌즈를 적절히 이동시킨다. 카메라 헤드 제어부(5015)는, 또한, 경통(5003)이나 카메라 헤드(5005)를 식별하기 위한 정보를 기억하는 기능을 구비하여도 좋다.
또한, 렌즈 유닛(5007)이나 촬상부(5009) 등의 구성을, 기밀성 및 방수성이 높은 밀폐 구조 내에 배치함으로써, 카메라 헤드(5005)에 관해, 오토클레이브 멸균 처리에 대한 내성을 갖게 할 수 있다.
다음에, CCU(5039)의 기능 구성에 관해 설명한다. 통신부(5059)는, 카메라 헤드(5005)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5059)는, 카메라 헤드(5005)로부터, 전송 케이블(5065)을 통하여 송신되는 화상 신호를 수신한다. 이때, 상기한 바와 같이, 당해 화상 신호는 알맞게는 광통신에 의해 송신될 수 있는다. 이 경우, 광통신에 대응하여 통신부(5059)에는, 광신호를 전기 신호로 변환하는 광전변환 모듈이 마련된다. 통신부(5059)는, 전기 신호로 변환한 화상 신호를 화상 처리부(5061)에 제공한다.
또한, 통신부(5059)는, 카메라 헤드(5005)에 대해, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 송신한다. 당해 제어 신호도 광통신에 의해 송신되어도 좋다.
화상 처리부(5061)는, 카메라 헤드(5005)로부터 송신된 RAW 데이터인 화상 신호에 대해 각종의 화상 처리를 시행한다. 당해 화상 처리로서는, 예를 들면 현상 처리, 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise reduction) 처리 및/또는 손떨림 보정 처리 등) 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지의 신호 처리가 포함된다. 또한, 화상 처리부(5061)는, AE, AF 및 AWB를 행하기 위한, 화상 신호에 대한 검파 처리를 행한다.
화상 처리부(5061)는, CPU나 GPU 등의 프로세서에 의해 구성되고, 당해 프로세서가 소정의 프로그램에 따라 동작함에 의해, 상술한 화상 처리나 검파 처리가 행하여질 수 있다. 또한, 화상 처리부(5061)가 복수의 GPU에 의해 구성되는 경우에는, 화상 처리부(5061)는, 화상 신호에 관한 정보를 적절히 분할하여 이들 복수의 GPU에 의해 병렬적으로 화상 처리를 행한다.
제어부(5063)는, 내시경(5001)에 의한 수술부의 촬상 및 그 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(5063)는, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 생성한다. 이때, 촬상 조건이 유저에 의해 입력되어 있는 경우에는, 제어부(5063)는, 당해 유저에 의한 입력에 의거하여 제어 신호를 생성한다. 또는, 내시경(5001)에 AE 기능, AF 기능 및 AWB 기능이 탑재되어 있는 경우에는, 제어부(5063)는, 화상 처리부(5061)에 의한 검파 처리의 결과에 응하여 최적의 노출치, 초점 거리 및 화이트 밸런스를 적절히 산출하여 제어 신호를 생성한다.
또한, 제어부(5063)는, 화상 처리부(5061)에 의해 화상 처리가 시행된 화상 신호에 의거하여 수술부의 화상을 표시 장치(5041)에 표시시킨다. 이때, 제어부(5063)는, 각종의 화상 인식 기술을 이용하여 수술부 화상 내에서의 각종의 물체를 인식한다. 예를 들면, 제어부(5063)는, 수술부 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함에 의해, 겸자 등의 수술구, 특정한 생체 부위, 출혈, 에너지 처치구(5021) 이용시의 미스트 등을 인식할 수 있다. 제어부(5063)는, 표시 장치(5041)에 수술부의 화상을 표시시킬 때에, 그 인식 결과를 이용하여 각종의 수술 지원 정보를 당해 수술부의 화상에 중첩 표시시킨다. 수술 지원 정보가 중첩 표시되고, 수술자(5067)에 제시됨에 의해, 보다 안전하며 확실하게 수술을 진행하는 것이 가능해진다.
카메라 헤드(5005) 및 CCU(5039)를 접속하는 전송 케이블(5065)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광파이버, 또는 이들의 복합 케이블이다.
여기서, 도시한 예에서는, 전송 케이블(5065)을 이용하여 유선으로 통신이 행하여지고 있지만, 카메라 헤드(5005)와 CCU(5039) 사이의 통신은 무선으로 행하여져도 좋다. 양자 사이의 통신이 무선으로 행하여지는 경우에는, 전송 케이블(5065)을 수술실 내에 부설할 필요가 없어지기 때문에, 수술실 내에서의 의료 스텝의 이동이 당해 전송 케이블(5065)에 의해 방해되는 사태가 해소될 수 있는다.
이상, 본 개시에 관한 기술이 적용될 수 있는 내시경 수술 시스템(5000)의 한 예에 관해 설명하였다. 또한, 여기서는, 한 예로서 내시경 수술 시스템(5000)에 관해 설명하였지만, 본 개시에 관한 기술이 적용될 수 있는 시스템은 이러한 예로 한정되지 않는다. 예를 들면, 본 개시에 관한 기술은, 검사용 연성 내시경 시스템이나 현미경 수술 시스템에 적용되어도 좋다.
[구성의 조합례]
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하는 분배부와,
분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 이용하여 수신 장치에 대해 병렬로 송신하는 복수의 신호 처리부와,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 제어부를 구비하는 송신 장치.
(2) 상기 전송 대상의 데이터는, 촬상하여 얻어진 화상 데이터이고,
상기 화상 데이터는, 각각의 상기 패킷에 라인 단위로 격납되는 상기 (1)에 기재된 송신 장치.
(3) 상기 파라미터를 설정하고, 상기 화상 데이터의 공급원이 되는 촬상부를 또한 구비하고,
상기 제어부는, 상기 수신 장치로부터 송신된, 상기 모드의 변경을 요구하는 정보가 상기 촬상부에 의해 수신된 경우, 상기 촬상부에 의해 설정된 상기 파라미터의 변경을 반영시키는 상기 (2)에 기재된 송신 장치.
(4) 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을 상기 트레이닝 처리를 행하지 않고 시작하는 경우,
복수의 상기 신호 처리부는, 상기 트레이닝 처리를 행한 경우에 상기 트레이닝 처리에 필요로 하는 기간, 블랭킹 데이터를 송신하고, 상기 블랭킹 데이터의 송신 종료 후, 상기 데이터 스트림을 송신하는 상기 (2) 또는 (3)에 기재된 송신 장치.
(5) 복수의 상기 신호 처리부는, 상기 파라미터의 변경이 행하여진 타이밍을 기준으로 하여 다음 프레임의 송신 시작까지, 상기 블랭킹 데이터를 송신하는 상기 (4)에 기재된 송신 장치.
(6) 상기 파라미터의 변경이, 소정 라인의 송신 후의 블랭킹 기간에 행하여진 경우,
복수의 상기 신호 처리부는, 상기 소정 라인의 다음 라인의 상기 화상 데이터를 격납하는 상기 패킷을 구성하는 상기 패킷 데이터의 송신을, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 행하는 상기 (2)에 기재된 송신 장치.
(7) 상기 파라미터의 변경이, 소정 프레임의 송신 후의 블랭킹 기간에 행하여진 경우,
복수의 상기 신호 처리부는, 상기 소정 프레임의 다음 프레임의 상기 화상 데이터를 격납하는 상기 패킷을 구성하는 상기 패킷 데이터의 송신을, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 행하는 상기 (2)에 기재된 송신 장치.
(8) 상기 파라미터의 변경이 행하여졌는지의 여부를 나타내는 플래그를 헤더에 포함하는 상기 패킷을 생성하는 패킷 생성부를 또한 구비하는 상기 (6) 또는 (7)에 기재된 송신 장치.
(9) 변경 후의 상기 파라미터를 헤더에 포함하는 상기 패킷을 생성하는 패킷 생성부를 또한 구비하는 상기 (6) 또는 (7)에 기재된 송신 장치.
(10) 상기 파라미터는,
상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보,
상기 화상 데이터를 구성하는 각 화소의 비트수를 나타내는 비트 정보,
1라인의 화소 수를 나타내는 라인 정보,
상기 패킷을 구성하는 페이로드 데이터의 오류 정정에 이용되는 오류 정정 부호의 종류를 나타내는 오류 정정 부호 정보,
상기 패킷을 구성하는 푸터에 포함되고, 상기 페이로드 데이터의 오류 검출에 이용되는 오류 검출 부호의 종류를 나타내는 오류 검출 부호 정보 및 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보 중의 적어도 어느 하나를 포함하는 상기 (2) 내지 (9) 중의 어느 하나에 기재된 송신 장치.
(11) 상기 제어부는, 변경하는 상기 파라미터가 상기 레인 정보 또는 상기 레이트 정보인 경우, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을 상기 트레이닝 처리를 행하고 나서 시작시키고, 상기 비트 정보, 상기 라인 정보, 상기 오류 정정 부호 정보, 또는 상기 오류 검출 부호 정보인 경우, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을 상기 트레이닝 처리를 행하지 않고 시작시키는 상기 (10)에 기재된 송신 장치.
(12) 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고,
분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 통하여 수신 장치에 대해 병렬로 송신하고,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 스텝을 포함하는 제어 방법.
(13) 컴퓨터에, 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고,
분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 통하여 수신 장치에 대해 병렬로 송신하고,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 스텝을 포함하는 처리를 실행시키는 프로그램.
(14) 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을 복수의 상기 레인을 통하여 병렬로 송신하는 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하는 복수의 신호 처리부와,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 제어부를 구비하는 수신 장치.
(15) 상기 패킷의 헤더에 포함되는, 상기 파라미터의 변경이 행하여졌는지의 여부를 나타내는 플래그가 상기 파라미터의 변경이 행하여진 것을 나타내고 있는 경우,
상기 제어부는, 상기 데이터 스트림의 수신을, 상기 트레이닝 처리를 행하지 않고 시작시키는 상기 (14)에 기재된 수신 장치.
(16) 상기 제어부는, 상기 데이터 스트림의 수신을, 상기 헤더에 포함되는 상기 파라미터를 변경 후의 상기 파라미터로서 이용하여 상기 트레이닝 처리를 행하지 않고 시작시키는 상기 (14)에 기재된 수신 장치.
(17) 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을 복수의 상기 레인을 통하여 병렬로 송신하는 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하고,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 스텝을 포함하는 제어 방법.
(18) 컴퓨터에, 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을 복수의 상기 레인을 통하여 병렬로 송신하는 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하고,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 스텝을 포함하는 처리를 실행시키는 프로그램.
(19) 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하는 분배부와,
분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 통하여 수신 장치에 대해 병렬로 송신하는 복수의 신호 처리부와,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 제어부를 구비하는 송신 장치와,
상기 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하는 복수의 신호 처리부와,
상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 파라미터를 변경할 때, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 상기 트레이닝 처리를 행하고 나서 시작하는지, 상기 트레이닝 처리를 행하지 않고 시작하는지를 변경하는 상기 파라미터의 종류에 응하여 전환하는 제어부를 구비하는 수신 장치를 포함하는 송수신 시스템.
1 : 전송 시스템 11 : 이미지 센서
12 : DSP 21 : 촬상부
22 : 송신부 31 : 수신부
32 : 화상 처리부 62 : Pixel to Byte 변환부
63 : 페이로드 ECC 삽입부 64 : 패킷 생성부
65 : 레인 분배부 72 : 헤더 생성부
83-0 내지 83-N : 신호 처리부 91 : 제어 코드 삽입부
92 : 8B10B 심볼 인코더 93 : 동기부
94 : 송신부 102-0 내지 102-N : 신호 처리부
111 : 수신부 112 : 클록 생성부
113 : 동기부 114 : 심볼 동기부
115 : 10B8B 심볼 디코더 116 : 스큐 보정부
117 : 제어 코드 제거부 122 : 레인 통합부
123 : 패킷 분리부 124 : 페이로드 에러 정정부
125 : Byte to Pixel 변환부 132 : 헤더 에러 정정부

Claims (19)

  1. 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하는 분배부와,
    분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 이용하여 수신 장치에 대해 병렬로 송신하는 복수의 신호 처리부와,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터인 상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보, 또는, 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 송신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 제어부를 구비하는 것을 특징으로 하는 송신 장치.
  2. 제1항에 있어서,
    상기 전송 대상의 데이터는, 촬상하여 얻어진 화상 데이터이고,
    상기 화상 데이터는, 각각의 상기 패킷에 라인 단위로 격납되는 것을 특징으로 하는 송신 장치.
  3. 제2항에 있어서,
    상기 파라미터를 설정하고, 상기 화상 데이터의 공급원이 되는 촬상부를 또한 구비하고,
    상기 제어부는, 상기 수신 장치로부터 송신된, 상기 모드의 변경을 요구하는 정보가 상기 촬상부에 의해 수신된 경우, 상기 촬상부에 의해 설정된 상기 파라미터의 변경을 반영시키는 것을 특징으로 하는 송신 장치.
  4. 제2항에 있어서,
    변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을 상기 트레이닝 처리를 행하지 않고 시작하는 경우,
    복수의 상기 신호 처리부는, 상기 트레이닝 처리를 행한 경우에 상기 트레이닝 처리에 필요로 하는 기간, 블랭킹 데이터를 송신하고, 상기 블랭킹 데이터의 송신 종료 후, 상기 데이터 스트림을 송신하는 것을 특징으로 하는 송신 장치.
  5. 제4항에 있어서,
    복수의 상기 신호 처리부는, 상기 파라미터의 변경이 행하여진 타이밍을 기준으로 하여 다음 프레임의 송신 시작까지, 상기 블랭킹 데이터를 송신하는 것을 특징으로 하는 송신 장치.
  6. 제2항에 있어서,
    상기 파라미터의 변경이, 소정 라인의 송신 후의 블랭킹 기간에 행하여진 경우,
    복수의 상기 신호 처리부는, 상기 소정 라인의 다음 라인의 상기 화상 데이터를 격납하는 상기 패킷을 구성하는 상기 패킷 데이터의 송신을, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 행하는 것을 특징으로 하는 송신 장치.
  7. 제2항에 있어서,
    상기 파라미터의 변경이, 소정 프레임의 송신 후의 블랭킹 기간에 행하여진 경우,
    복수의 상기 신호 처리부는, 상기 소정 프레임의 다음 프레임의 상기 화상 데이터를 격납하는 상기 패킷을 구성하는 상기 패킷 데이터의 송신을, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 행하는 것을 특징으로 하는 송신 장치.
  8. 제6항에 있어서,
    상기 파라미터의 변경이 행하여졌는지의 여부를 나타내는 플래그를 헤더에 포함하는 상기 패킷을 생성하는 패킷 생성부를 또한 구비하는 것을 특징으로 하는 송신 장치.
  9. 제6항에 있어서,
    변경 후의 상기 파라미터를 헤더에 포함하는 상기 패킷을 생성하는 패킷 생성부를 또한 구비하는 것을 특징으로 하는 송신 장치.
  10. 제2항 내지 제9항 중 어느 한 항에 있어서,
    상기 파라미터는, 또한,
    상기 화상 데이터를 구성하는 각 화소의 비트수를 나타내는 비트 정보,
    1라인의 화소 수를 나타내는 라인 정보,
    상기 패킷을 구성하는 페이로드 데이터의 오류 정정에 이용되는 오류 정정 부호의 종류를 나타내는 오류 정정 부호 정보 및
    상기 패킷을 구성하는 푸터에 포함되고, 상기 페이로드 데이터의 오류 검출에 이용되는 오류 검출 부호의 종류를 나타내는 오류 검출 부호 정보 중의 적어도 어느 하나를 포함하는 것을 특징으로 하는 송신 장치.
  11. 제10항에 있어서,
    상기 제어부는, 변경하는 상기 파라미터가 상기 비트 정보, 상기 라인 정보, 상기 오류 정정 부호 정보, 또는 상기 오류 검출 부호 정보인 경우, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을 상기 트레이닝 처리를 행하지 않고 시작시키는 것을 특징으로 하는 송신 장치.
  12. 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고,
    분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 이용하여 수신 장치에 대해 병렬로 송신하고,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터인 상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보, 또는, 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 송신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 스텝을 포함하는 것을 특징으로 하는 제어 방법.
  13. 컴퓨터에,
    전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고,
    분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 이용하여 수신 장치에 대해 병렬로 송신하고,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터인 상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보, 또는, 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 송신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 스텝을 포함하는 처리를 실행시키는 것을 특징으로 하는 프로그램이 기록된 기록 매체.
  14. 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을 복수의 상기 레인을 이용하여 병렬로 송신하는 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하는 복수의 신호 처리부와,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터인 상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보, 또는, 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 수신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 제어부를 구비하는 것을 특징으로 하는 수신 장치.
  15. 제14항에 있어서,
    상기 패킷의 헤더에 포함되는, 상기 파라미터의 변경이 행하여졌는지의 여부를 나타내는 플래그가 상기 파라미터의 변경이 행하여진 것을 나타내고 있는 경우,
    상기 제어부는, 상기 데이터 스트림의 수신을, 상기 트레이닝 처리를 행하지 않고 시작시키는 것을 특징으로 하는 수신 장치.
  16. 제14항에 있어서,
    상기 제어부는, 상기 데이터 스트림의 수신을, 상기 패킷의 헤더에 포함되는 상기 파라미터를 변경 후의 상기 파라미터로서 이용하여 상기 트레이닝 처리를 행하지 않고 시작시키는 것을 특징으로 하는 수신 장치.
  17. 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을 복수의 상기 레인을 이용하여 병렬로 송신하는 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하고,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터인 상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보, 또는, 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 수신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 스텝을 포함하는 것을 특징으로 하는 제어 방법.
  18. 컴퓨터에, 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하고, 분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을 복수의 상기 레인을 이용하여 병렬로 송신하는 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하고,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터인 상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보, 또는, 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 행하기 위한 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 수신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 스텝을 포함하는 처리를 실행시키는 것을 특징으로 하는 프로그램이 기록된 기록 매체.
  19. 전송 대상의 데이터를 격납하는 패킷을 구성하는 패킷 데이터를 복수의 레인에 분배하는 분배부와,
    분배한 상기 패킷 데이터를 포함하는 동일한 데이터 구조를 갖는 데이터 스트림을, 복수의 상기 레인을 이용하여 수신 장치에 대해 병렬로 송신하는 복수의 신호 처리부와,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 모드의 내용을 규정하는 파라미터인 상기 데이터 스트림의 송신에 이용하는 상기 레인의 수를 나타내는 레인 정보, 또는, 각각의 상기 레인의 전송 레이트의 종류를 나타내는 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드에서의 상기 데이터 스트림의 송신을, 데이터의 동기와 상기 레인 사이의 데이터의 타이밍의 어긋남의 보정을 상기 수신 장치에서 행하기 위한 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 송신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 제어부를 구비하는 송신 장치와,
    상기 송신 장치로부터 송신되어 온 상기 데이터 스트림을 수신하는 복수의 신호 처리부와,
    상기 데이터 스트림의 송신이 소정의 모드로 행하여지고 있는 경우에 있어서, 상기 파라미터인 상기 레인 정보 또는 상기 레이트 정보를 변경할 때에는, 변경 후의 상기 파라미터에 의해 규정되는 상기 모드로 송신된 상기 데이터 스트림의 수신을, 상기 트레이닝 처리를 행하고 나서 시작시키도록, 변경 후의 상기 파라미터에 의해 규정된 상기 모드에서의 상기 데이터 스트림의 수신 전의 상기 트레이닝 처리의 실행의 유무를 변경하는 상기 파라미터의 종류에 응하여 제어하는 제어부를 구비하는 상기 수신 장치를 포함하는 것을 특징으로 하는 송수신 시스템.
KR1020197032111A 2017-06-09 2018-05-25 송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템 KR102538714B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-114381 2017-06-09
JP2017114381 2017-06-09
PCT/JP2018/020115 WO2018225533A1 (ja) 2017-06-09 2018-05-25 送信装置、受信装置、制御方法、プログラム、および送受信システム

Publications (2)

Publication Number Publication Date
KR20200016202A KR20200016202A (ko) 2020-02-14
KR102538714B1 true KR102538714B1 (ko) 2023-06-01

Family

ID=64567193

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197032111A KR102538714B1 (ko) 2017-06-09 2018-05-25 송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템

Country Status (6)

Country Link
US (2) US11196961B2 (ko)
EP (1) EP3637715B1 (ko)
JP (2) JP7050059B2 (ko)
KR (1) KR102538714B1 (ko)
CN (1) CN110710177B (ko)
WO (1) WO2018225533A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020255799A1 (ja) * 2019-06-18 2020-12-24 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、および通信システム
CN112422771B (zh) * 2019-08-21 2023-01-13 苏州华兴源创科技股份有限公司 一种资源重置系统
WO2021100602A1 (ja) * 2019-11-20 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、および伝送システム
CN111540456B (zh) * 2020-06-08 2022-11-15 安翰科技(武汉)股份有限公司 数据载入方法及其胶囊内窥镜图像采集系统
US20230217102A1 (en) * 2020-06-10 2023-07-06 Sony Semiconductor Solutions Corporation Transmission device, reception device, and transmission-reception system
US11520729B2 (en) * 2021-05-04 2022-12-06 Qualcomm Incorporated I2C bus architecture using shared clock and dedicated data lines

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120289A1 (en) * 2010-11-12 2012-05-17 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073607A (ko) * 2000-01-19 2001-08-01 구자홍 화상통신기기의 데이터 전송 프로토콜
JP3671920B2 (ja) 2001-11-15 2005-07-13 セイコーエプソン株式会社 スキュー調整回路及びスキュー調整方法
JP2008021228A (ja) * 2006-07-14 2008-01-31 Renesas Technology Corp データ処理装置
JP2012182697A (ja) * 2011-03-02 2012-09-20 Sony Corp 受信装置、送信装置、受信方法、送信方法、通信システム
JP2013051607A (ja) * 2011-08-31 2013-03-14 Canon Inc データ処理装置、方法および制御プログラム
US8437343B1 (en) 2012-05-22 2013-05-07 Intel Corporation Optimized link training and management mechanism
US9052900B2 (en) * 2013-01-29 2015-06-09 Oracle International Corporation Serdes fast retrain method upon exiting power saving mode
JP6123882B2 (ja) 2013-03-19 2017-05-10 富士通株式会社 伝送装置、伝送システム、及び伝送方法
JP2015015533A (ja) 2013-07-03 2015-01-22 株式会社リコー 画像データ伝送装置および画像データ伝送システム
JP5805725B2 (ja) 2013-10-04 2015-11-04 ザインエレクトロニクス株式会社 送信装置、受信装置、送受信システムおよび画像表示システム
KR102195069B1 (ko) * 2014-08-06 2020-12-24 삼성전자주식회사 패킷 송신기 및 이를 포함하는 인터페이스 장치
US10009544B2 (en) * 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120120289A1 (en) * 2010-11-12 2012-05-17 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus

Also Published As

Publication number Publication date
EP3637715B1 (en) 2023-07-12
JP7326522B2 (ja) 2023-08-15
US11196961B2 (en) 2021-12-07
US11743423B2 (en) 2023-08-29
KR20200016202A (ko) 2020-02-14
CN110710177B (zh) 2022-12-16
JPWO2018225533A1 (ja) 2020-04-16
CN110710177A (zh) 2020-01-17
US20200195884A1 (en) 2020-06-18
WO2018225533A1 (ja) 2018-12-13
EP3637715A4 (en) 2020-05-06
EP3637715A1 (en) 2020-04-15
JP2022076012A (ja) 2022-05-18
US20220094878A1 (en) 2022-03-24
JP7050059B2 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
KR102538714B1 (ko) 송신 장치, 수신 장치, 제어 방법, 프로그램 및 송수신 시스템
KR102538713B1 (ko) 수신 장치, 송신 장치, 제어 방법, 프로그램, 및 송수신 시스템
JP4918438B2 (ja) 被検体内情報取得システム
KR20190109406A (ko) 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램
US11996937B2 (en) Encoding device, encoding method, decoding device, decoding method, and program
CN110945399B (zh) 信号处理设备、成像设备、信号处理方法和存储器
US20240348266A1 (en) Encoding device, encoding method, decoding device, decoding method, and program
JP6132984B2 (ja) カプセル内視鏡システム及びその撮像方法
US10924724B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, program, and medical stereoscopic observation system
US11910105B2 (en) Video processing using a blended tone curve characteristic
KR20230029628A (ko) 부호화 장치, 부호화 방법, 복호 장치, 복호 방법 및 프로그램
US11558673B2 (en) Transmission device, reception device, transmission system, and transmission method
WO2021230001A1 (ja) 情報処理装置及び情報処理方法
US20220322921A1 (en) Medical system, communication method, imaging device, information processing device, and endoscope system
WO2020066972A1 (ja) 受信装置、および受信方法、並びに、画像処理システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal