HN: NIF – codec de imagem neural com benchmarks reproduzíveis vs. JPEG/WebP/AVIF

The Neural Image Format (NIF), a deep-learning-based image codec developed by Gabriel Philippus, achieves up to 26.4% lower LPIPS distortion than JPEG at 0.80 bpp on the Kodak24 dataset, with a decode latency of ~202 ms and a 10.96x speedup over classical autoregressive decoding. In cost projections for processing 1 million 1024x1024 images on AWS EC2 g4dn.xlarge, GPU encoding/decoding costs $44.91 versus $1,759.87 on CPU, an 11x reduction. The codec is open-sourced on GitHub.

O NIF Neural Image Format é um formato e codec de compressão de imagens de ponta a ponta baseado em redes neurais profundas Learned Image Compression . Desenvolvido para superar as limitações de artefatos em blocos dos codecs legados, o NIF combina modulação contínua de taxa FiLM Conditioning , modelagem de entropia híbrida Channel-wise + Spatial Checkerboard , DPCM Noise Shaping no espaço latente e decodificação altamente paralela. - Modulação Contínua de Taxa de Bits FiLM-Conditioned :- Controle contínuo de qualidade $q \in 0.1, 1.0 $ com um único conjunto de pesos treinado, eliminando a necessidade de múltiplos modelos para diferentes qualidades. - Restrição Sigmoid Latent Scaling garantindo estabilidade de variância zero Zero NaNs em imagens uniformes/planas . - Controle contínuo de qualidade - Noise Shaping DPCM no Espaço Latente :- Algoritmo de realocação de resíduo de quantização entre fatias latentes Slices , gerando +0.42 dB de PSNR e -2.86% de redução real de tamanho free lunch de taxa-distorção . - Algoritmo de realocação de resíduo de quantização entre fatias latentes - Decodificação Paralela em Checkerboard 202 ms :- Modelo de entropia híbrido com predição em xadrez espacial que reduz os passos de contexto autoregressivo para apenas 2 iterações paralelas por fatia aceleração de 10.96x sobre o autoregressivo clássico . - Modelo de entropia híbrido com predição em xadrez espacial que reduz os passos de contexto autoregressivo para apenas 2 iterações paralelas por fatia - Perda Perceptual Mascarada por Fidelidade Estrutural SFM :- Combinação dinâmica de MSE, MS-SSIM e LPIPS guiada por mapa de bordas para sintetizar texturas naturais sem distorcer caracteres ou estruturas críticas. Todos os resultados foram medidos de forma pareada nas 24 imagens do dataset Kodak24 , com avaliação interpolada no mesmo bitrate Bitrate-Matched contra codecs industriais consolidados: | Codec / Variante | Bitrate | PSNR dB | MS-SSIM | LPIPS menor = melhor | Latência Decode | Posicionamento Técnico | |---|---|---|---|---|---|---| NIF v4 Perceptual | 0.80 bpp | 28.15 dB | 0.9796 | 0.0828 | ~202 ms | +26.4% superior ao JPEG em LPIPS | NIF Config A Balanced | 0.80 bpp | 28.40 dB | 0.9804 | 0.0953 | ~202 ms | Fronteira de Pareto Ótima +15.3% LPIPS & +0.0094 SSIM vs JPEG | NIF Config D High-PSNR | 0.80 bpp | 29.76 dB | 0.9781 | 0.1453 | ~202 ms | Máximo PSNR da CNN atual +1.61 dB vs v4 | JPEG Padrão | 0.80 bpp | 31.45 dB | 0.9710 | 0.1125 | ~15 ms | Linha de Base Clássica DCT | WebP Google | 0.80 bpp | 33.77 dB | 0.9774 | 0.0901 | ~35 ms | Linha de Base WebP | AVIF AOMedia AV1 | 0.80 bpp | 34.56 dB | 0.9838 | 0.0736 | ~450 ms | Estado da Arte da Indústria | Diagnóstico: O NIF entregaqualidade visual perceptual e integridade estrutural substancialmente superiores ao JPEG +15% a +26% de redução de distorção LPIPS, sem blocos 8x8 visíveis com decodificação rápida ~202 ms . Codecs ultra-pesados como o AVIF alcançam maior PSNR em decorrência de intra-predição espacial de alta complexidade. Medição empírica de latência e projeção de custo para processamento em larga escala 1 Milhão de Imagens na instância de referência AWS EC2 g4dn.xlarge $0.526/hora : | Resolução | Hardware | Tempo Encode ms | Tempo Decode ms | Tempo Total ms | Custo / 1 Milhão Imagens USD | |---|---|---|---|---|---| 256x256 | CPU | 375.2 ms | 255.6 ms | 630.8 ms | $92.16 | 512x512 | CPU | 1212.7 ms | 880.9 ms | 2093.6 ms | $305.90 | 1024x1024 | CPU | 6461.8 ms | 5582.9 ms | 12044.8 ms | $1759.87 | 256x256 | GPU CUDA | 104.1 ms | 202.8 ms | 306.8 ms | $44.91 | 512x512 | GPU CUDA | 114.8 ms | 208.7 ms | 323.5 ms | $47.36 | 1024x1024 | GPU CUDA | 104.1 ms | 202.8 ms | 306.8 ms | $44.91 11x mais barato que CPU | git clone https://github.com/gabrielphilipus/NIF-Neural-Image-Format.git cd NIF-Neural-Image-Format pip install -r requirements.txt python nif tool.py compress --checkpoint checkpoints v4 production/nif epoch 300.pth --input foto.png --output foto.nif --quality 0.5 python nif tool.py decompress --checkpoint checkpoints v4 production/nif epoch 300.pth --input foto.nif --output foto reconstruida.png Para abrir o comparador visual lado a lado no navegador: python scripts/dashboard.py Acesse em seu navegador: http://localhost:5000 Os pesos treinados dos modelos estão disponíveis para download na aba de Releases https://github.com/gabrielphilipus/NIF-Neural-Image-Format/releases : | Modelo | Arquivo | Descrição | Casos de Uso Recomendados | |---|---|---|---| NIF-Perceptual v4 | nif v4 perceptual 300ep.pth | Treinado por 300 épocas com LPIPS e Discriminador PatchGAN | Redes sociais, web, fotografia móvel e thumbnails | NIF-Balanced Config A | nif config A balanced.pth | Otimizado na fronteira de Pareto 40% MSE, 40% SSIM, 20% LPIPS | Uso geral, balanceamento entre nitidez e PSNR | NIF-Fidelity Config D | nif config D fidelity.pth | Treinado por 50 épocas sob MSE puro | Imagens técnicas, satelitais e médicas | O repositório possui uma suite de testes unitários automatizados cobrindo a integridade do compressor, estabilidade de variância zero e serialização de cabeçalhos binários: python -m unittest discover tests Este projeto é disponibilizado sob a licença MIT /gabrielphilipus/NIF-Neural-Image-Format/blob/main/LICENSE .