본문 바로가기
Lab
imaging chain workbench diffraction · OLPF · Bayer · photon noise · ISO 12233 · EMVA 1288

Sensor Lab

픽셀은 어디까지 작아져야 의미가 있을까요? 픽셀을 줄이면 표본화 한계는 올라가지만, 렌즈 회절이 먼저 상을 흐리고 픽셀 하나에 들어오는 광자는 줄어듭니다. 픽셀을 키우면 반대로 나이퀴스트를 넘는 무늬가 모아레와 거짓 색으로 접혀 들어옵니다. 128 × 128 센서의 영상 체인 전체를 시뮬레이션하고, 카메라 랩에서 쓰는 방법 그대로 측정해 이 균형을 숫자로 확인해보세요.

Q = λN/pISO 12233 e-SFREMVA 1288 PTCMalvar–He–Cutler · Hamilton–Adams
Presets
Q 0.62 ALIASING-LIMITED COMPUTING
Capture · 128 × 128 px
click the image to move the loupe
3-chip ideal—
Bilinear—
MHC—
Hamilton–Adams—
MTF50—
MTF @ Nyquist—
energy > Nyquist—
false colour—
CPSNR vs ideal—
clipped px—
compute—
2D spectrum · ±1 cyc/px

Optical PSF · before pixel integration Airy 1.22λN (G)

ISO 12233 slanted-edge SFR measured optics theory diffraction defocus OLPF pixel EDGE SNR —
edge angle (fit)—
MTF50 meas / theory—
MTF50 on sensor—
MTF @ Nyq/2—
demosaic loss @ Nyq/2—
Photon transfer · EMVA 1288 flat field simulated (2 frames × 16k px) model —
K meas / set [DN/e⁻]—
read σd meas / model—
saturation—
shot slope—
DR · SNRmax—
Demosaic comparison —
MethodCPSNRfalse colourMTF50MTF@Nyq
Bilinear ————
Malvar–He–Cutler ————
Hamilton–Adams ————
Bilinear
Averages the nearest samples of each colour. Blurs, and turns every luminance edge near the R/B Nyquist into colour fringes.
Malvar–He–Cutler
Bilinear plus a gain-weighted Laplacian of the channel actually measured at the pixel: 5×5 linear filters, sharper, fewer fringes.
Hamilton–Adams
Interpolates green along the smoother of the horizontal and vertical gradients, then fills R and B as colour differences. Keeps edges, can zipper on noise.

Scored against a noise-free 3-chip capture through the same optics (inner 120 × 120 px). MTF from the slanted edge captured with the same noise. CPSNR in the linear domain, peak = scene white.

Sweep · diffraction vs aliasing vs noise
queued

Each point is a full noise-free slanted-edge capture through the current CFA and demosaic, run in a worker. SNR is the model value at 18 % grey for a fixed exposure time, so stopping down or shrinking pixels costs photons. Shaded band: 1 ≤ Q ≤ 2.

Optics → sampling

H(f) = Σc wc Dλc(ρ) · J(ρ) · cos(πfxd)cos(πfyd) · sinc(afx)sinc(afy)

D(ρ) = 2⁄π[acos ν − ν√(1−ν²)], ν = ρλN/p

J(ρ) = 2J1(πbρ)/(πbρ), b = Δz/N

Bands at 610 / 535 / 465 nm. Sampling every 4th fine sample is done by summing the 16 spectral replicas into the 128² spectrum, which is exactly how aliasing arises.

Sensor (EMVA 1288)

μe = η · Hλ · (2.8/N)² · (ap)²

y = ⌊K(min(𝒫(μe)+𝒫(μd), μe,sat) + σrε) + σpostε + y0⌉

σy² = K²(σd² + μd) + σq² + K(μy − μy,dark)

Full well 1700 e⁻/µm² of photodiode, base gain maps full well to full scale, post-gain noise 2.5 e⁻ at ISO 100 (so high ISO lowers input-referred read noise but cuts headroom). No PRNU/DSNU, no microlenses, ideal colour filters.

Measurement (ISO 12233 SFR)

xe(y) = a + b y ← least squares on per-row LSF centroids (2 passes)

ESF4×(d), d = (x − xe(y)) cos θ, bins of ¼ px

MTF(f) = |𝔉[w · ∂ESF]| / |𝔉[w · ∂ESF](0)| / (sinc(2fΔ) sinc(fΔ))

Edge angle is estimated from the image, not assumed. Tukey window on the LSF; division by the derivative and binning transfer functions. Luminance of the demosaiced output, as in sfrmat.

What is modelled

시뮬레이션하는 것

피사체는 픽셀보다 4배 촘촘한 격자에 R·G·B 세 대역으로 그립니다. 각 대역(610·535·465 nm)마다 원형 동공의 회절 OTF를 곱하고, 기하광학 디포커스, 복굴절 OLPF의 4점 분리, 정사각형 수광 개구를 차례로 곱합니다. 픽셀 중심에서의 표본화는 주파수 영역에서 16개의 스펙트럼 복제본을 더하는 방식으로 계산하므로, 앨리어싱은 근사가 아니라 표본화 그 자체입니다. 이어서 광자 산탄 노이즈(포아송), 암전류, 풀웰 포화, 게인 앞뒤의 읽기 노이즈, ADC 양자화를 거쳐 RAW를 만들고, 블랙 레벨과 화이트 밸런스를 맞춘 뒤 세 가지 알고리즘으로 디모자이크합니다.

해상력은 경사 에지 각도를 영상에서 직접 추정하는 ISO 12233 방식으로 재고, 노이즈는 평탄 영상 두 장의 차이로 EMVA 1288 광전달곡선을 그려 변환 이득과 읽기 노이즈를 역산합니다. node scripts/test-sensor.ts가 에어리 원반 첫 영점(1.22λN), 측정 MTF와 이론의 일치, 산탄 영역 기울기 ½, 변환 이득 복원을 검사합니다.

sensor
128 × 128 px
optics grid
4× oversampled
MTF bins
¼ px
PTC
2 × 16k px
Simulation scope

단순화한 부분

  • 렌즈는 수차 없는 회절 한계 렌즈이고, 디포커스는 Hopkins 파면 모델 대신 기하광학 착란원으로 근사합니다. 초점 오차가 작을 때는 실제보다 덜 흐리게 나옵니다.
  • 컬러 필터는 대역마다 이상적인 상자 모양이고, 픽셀 간 크로스토크, 마이크로렌즈, 색 보정 행렬(CCM), PRNU·DSNU 같은 고정 패턴 노이즈는 넣지 않았습니다.
  • 시뮬레이션 격자의 나이퀴스트(2 cyc/px)를 넘는 피사체 성분은 표현하지 못합니다. 픽셀 개구의 sinc가 그 영역을 크게 줄이지만 0은 아닙니다.
  • FFT는 주기 경계를 가정하므로 화면 가장자리는 반대편과 섞입니다. MTF 측정 ROI는 가장자리에서 떨어뜨려 두었습니다.
  • 경사 에지 MTF는 ESF 창(±36 px)이 회절 LSF의 긴 꼬리를 잘라 저주파에서 이론보다 최대 0.03 정도 높게 나올 수 있습니다. 실제 측정에서도 생기는 편향입니다.