(Tech Report) DeepSeek-v4.1-Flash: Pushing Limits of KV Cache Compression [pdf] A technical report titled "DeepSeek-v4.1-Flash: Pushing Limits of KV Cache Compression" has been posted as a PDF, presenting work on compressing the key-value cache for the DeepSeek-v4.1-Flash model. The document's body consists of raw PDF binary data, so no performance figures, benchmark results, or methodology details are available from the source. %PDF-1.5 %���� 988 0 obj << /Linearized 1 /L 1809802 /H 3580 805 /O 992 /E 675850 /N 51 /T 1803602 endobj 989 0 obj << /Type /XRef /Length 131 /Filter /FlateDecode /DecodeParms << /Columns 5 /Predictor 12 /W 1 3 1 /Index 988 415 /Info 305 0 R /Root 990 0 R /Size 1403 /Prev 1803603 /ID <47c2f5952436aed1eb15bbfb06d7492b <4530877f96c3eca7fff4031b024e3f5d stream x�cbd �g b 8 "y��- �E��������D؟�H �2�T� 'c��z��H�� �p��ɦ���Y$����������mX � 9J�O�/x7��Ïd�;�n%�9��FIRH���� endstream endobj 990 0 obj << /Names 987 0 R /OpenAction 1318 0 R /Outlines 1180 0 R /PageMode /UseOutlines /Pages 1179 0 R /Type /Catalog endobj 991 0 obj << /Filter /FlateDecode /S 800 /O 935 /Length 717 stream x�c b ����dda�0�$������T���l� � ���a"���502h ��na���l9�c��D�L�Oŀ/��r�Y��<���0�S�Zð���6�������n%����:& p�f�o���әP��a}�� �� �g�1gz��y�aAAX ǵs�AN�+��͞m��<�ַ�'��vy����N�� ��Y�����R����l�/��N�Y�M�8�g+ʥs8��K��S��r�U�ť�\yLg̜�ݶ��,;m��t��s�w�+~WV���@���W�Je�6+�Y�-������6y��ETs�|��3�t�/YkY�r���7Ugu�vL����4i��L�� ��� �f +:�����e �b��6:u\�we���ו����߂/�;z��F1�k :����S����� ��Z߾�b�� -� 1��EM� T����E8��Cx� "e9�F6/ �2ͫ�B����A��U�u��E�+6���f,��˂�3@� s ����Ha� �U4�?hٜ2�^ ��NT��-� 9���: ���; � 0�%1�4<�f� ~��7k3���U�^�5�RJ�5��1,� a�t��y�k��j2̓�� �02oy���eC�ewf �i�8X |pNaxà ��a��tY@����xO� endstream endobj 992 0 obj << /Annots 1319 0 R /Contents 996 0 R /Group 1323 0 R /MediaBox 0 0 595.276 841.89 /Parent 1165 0 R /Resources 1321 0 R /Type /Page endobj 993 0 obj << /BitsPerComponent 8 /ColorSpace /DeviceRGB /Filter /FlateDecode /Height 2640 /SMask 998 0 R /Subtype /Image /Type /XObject /Width 3801 /Length 290303 stream x��݉{�������BYZ���/�"��CT�E@� �"� XV�de-�� K��i;��O�8�dN2���� �y�s�I��|�Lf s�� ������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������ ����X ��A�~m� �������������P�����"ĉ�����Ӂ����-/5����G������~;x��Ͼ��-9��e��� A�uUb�J�����?�� Q:zF� =?���������������� ^�~}�Ν999 F���U�V�;w��X�������k��f.. ��y�����Ap ��wp�a���e�rJ�L�v���Kٔ�w��N��n��^�,��u��.%������������5�g�NIIy Qd�� �@ �� �T W�e�~�"����ػ� 2�X��z���TW�.�������������O�s�D�����"�Q�D ��� ++���~��7�?Aj nn��c����������Qd�@�� oI�� ��@�"�Q�D ��6�z��:u��i�ĉ�KS�}b ����ɓ��"��S3���L0'qq �&��������"/��Y.��zR��� ����/Y 6aNI�xo��ȔW� ����O+���t����E�0 �@9=.�� ��㕭A�w�A�=PR�� чz�����r��D��5:}K9�"��JKK�۵ � �U���5ӧO��Iصk� �U.��'��M ���ѣ999�n۶mJJJ��KMMmѢE߾}gΜ��~�ivm�8&��Lq �<�5&bu4�%%%� FW��$�h�s�5 C��P��ٳ˗/���l߾}ݺu���j�j֬Y�=�L��}�vN��L��� �����R��~��'t�z��@���WX�m� \�8ꊃ�������'e�dۏ�fI^;۾� p�&:����ߘh ��E��EW�.'��"�%5a86T�C\�<�W{�7��- W6gi�쒬�%��y?���� O�A�,�c�ឡ�cg=K���\v���� eȻ�\��7l�������S�k6�Dשގ � D��| q��l�cg��r���������/���KJc�7�{��0SR�u�^��T���gO��uܼ�}� ��D�ἅ�}��� ђ%K4?����OmY��k�4h��������������� j�t\�O\�9����ݻ�^�^=�EEKMM��OΜ9cˆ�j۶?�p�P���u��ƍ'M�ԫW�-ZԮ ;�8������ҬY�nݺ�9r���{��}��A�E��;\FuG8���� �l��/���ӪU+qq{�7�v�:jԨ���ܹs�~�������v�� �9s��͂ � �Q�� ڿ��ٳ322�y�z��U�V-�HU�fʹ��:�|�嗛6m�|�r�gCq� ��m�/^T��.\�0k�,� ��-Z�?~�����uO�C������:VC0l߾�f���ceX�x��&1�dY��5kZ�jO��9�a���"��H���ϋ�x�6m��5j4f���N %�۶xN���"����-"�+ X�j��� �zu�� ddd�^�:??���{��qw�D��Zc�ܹ��n���E�y���u���077w��� 64ؐ- �����<�ʕ+;u��+ic��� �tY� �իWUoG\�"��|�a0T���I9�c�g�e��n�%����C+֗�7��~�:̳tm��" ��KՈ"8 ���cO0h���I ,ƹ<;�Z %�^wF�o� f��1�4Q�D��E�S�e��� Q��eeeݻw���� �v�e+..6���wމ����m�ĝ�S��E�կ � w�KMM�����"Ta�÷�� �ܹ��o-�ի7~����<��E������'�2k͚5z�v�ʕ�� ,;;۞^ �XyÆ M�4����ի���8S6 �� DR��"��۷o�ڵk����- ~����� �2.�e˖��&QdTP�E$��@���� �U��-�1�&��?ܵk�� ���˶�=¿��oqys΄r�%�|��E���� r0ܹsg�^����e6d�ҥ�K~���7�|cp?AS����/77��wu�GQd��Ͻ0��v� r��8�3�?% �� @��� �T��N�L���E. u �3g/��3����Ӗ�~��6Nz�y�O�/ŅQ�C'��3cWN�QdgE��o�Cu;X��@�x�2l�0���6mz�� �%4k�L��YYY��Vy�j���s����tk������x6 U���- |�n�D9z������222� �&S�K��~� ��f͚�@ �����Ϟ=ہb�6m� -�O�D�g̘a{��ƍs�rTF������ ���ö��7n�y�f� '����6�KD�Fu��TwDB0 5W� �xWf�z�E{w˖--l����� ��ka� � �~ ��2��j9�{a�� ��Qd1:�l�UY��G<���NlY���� �2Q�ߏ�D��9��a���ėl�� ϻ3��� �ɳS?R �܁ ���"�y�÷��,JD�t�ܹzj�����Ν�YH0��7 Il����U�ĵ� ���;z ���3g�ܳg�����o9WXXx�����l�I0�֭{��m˛��Jy�� T������-Z�l��+���I �$�|��Q�-��11ݿ?55ՠ����'��IÇ��MT� �� GsJ�ƍO�iҤ��;��QdqJ� ��8W�A���H�L-�8�?~\����� ���k?5���oc����G�.33�D�Ց G�É6�֭��ɓsss����������-v��S� ��@$.�nZ<�"��|�a0T�� ��b|4ɛ��� �'��gL� �zC�� Ef/ �l��rm��� {h �Ɇ��|�Qӭ���F���/��~l�/� r���"�� �2�v���@�u뒒�� �ڿ���C�wN���C�1�UΥK�6l�YI�j�. �l�Tm�÷��l�i�&�o<�W�ޭ ����}���c ��F�P ??�ܹs �l�3gN�^���u�p�dU.�"�ܦ< Ak�~�z̯�7n��������G�v��A�u����w���ԩS�� :�m۶z�N%�� ��:x�H�;��ׯ��g��u�r�HAA��݂����8/oy�̙�:u��Z�o��ڏa��W.q�E'��ՉSR�V��"Ƽ�����ϟ��E������kӦ�q�5;v��?�|����~��h֬Y� ;z'L� ��Ń �Z��^Cu;X�6�,Ơ���ICU}E�P�W�cϡJ�u��E v& �<��3A�S3�{�4� ��d��Ca����aMO�\1�"4Q�D �� �2�v���@�m���rMNN&�QŸ�s����N� �ԩSz�ET�f� �÷���w�ޘ�l������ܻwO~��@@�A,|�S���$��97 �3g�$b� F����5k&b�f�o� ��s�Ω�KV ֞+�4�ׯ��������:Q٩�"�ꎰ��={b�����sss�^�oJKK7n���;��<���O��:8o���ѯ��- Tׅ Bu��Tw� ��� �ha|ªQ�Ƨ�~j�'�b�, ��S�N�IJJ�y�����f ����+V�h֬��f��mqnj�z��"���D�n֬Y Z�3īft�P"� ���/�� p���PE��"�ꎈWYY��<4�TziРA���Ѯ^�:f̘�5k������"�˖-3�bw������ �3�W�dɒ��?����+���~��q�5�� �� �v- ���{��M� �w����$��j9�{a�� �� �{C��={���J�/�S� ���51���%� � |�B�^ l�뛵�����'�YZ�j���E�.���rm����J7�7ڔ�w����^���g.&�B.�4�,Λ��e}� �s�"�y�÷��,�%Pz���Z�ji.' ɮ� � U�s�\����ÇUUR�e���/��۪U+���Ю ;g�ٵkWQQ��� E�ի��. gv���233%W���g�-x�W�{qR����u���|u�{���EToIuG�E�� �nmpv�ݻw~~~<�O1X�믿��� ��nйs��:Aw�Hu��TwD�&O�lp�JMM�qRw��N�W�s���k����s�~%�D�ղ%�ðk�n+$K �x��K�"V� ��0��wp� �ҵe�a���x���wd�=Fx�������q�?caiE�ԹJ���KT� ��+�0Ɔi�7쐚����q��gEŞ��1&B��Ù ��S����q�1 iٙN9�"�y�÷��,�?Pz��1� �. ����J�m�j�Tc�<|��� ^cƌ�;$���V�js�.�"����p�N� ?%�K��FO�U�fM�E9J�����Nuip�� DR�q7n���A��-wi1~Ð���Z���|nܸ��.T������ �����$���k��v��y�&"����Ǜs �ر �ʝ�"k�w Z B �~�nݺ�;P\ o۶Mu��͚5K�~�w��E�� FY-S=����v�B2�4z��� C��}�q�3=� C�ސ�$p��ˮ�'�o1 �����R =1N�����r� ��M��ڮz՞&�� E2���.\���ÑS��5 ��}W� � ����q���IƖ�B21NS� ��Q�g'O�� �������GȒҐ-���E� � ���S^4�÷��,�3Pz��i�r����'�~�R�;' C����\ե�E��o�Cu;��ĉ����ݻ����EsI�aÆz{ ��i��}��iӦMv�ך��������V�9s�h�: ~�����"������ ��믿~���g�ٸ�P ��'���� ���A�ƍG�ĦnlP�E$�a��\}뭷�NL�����˗Uט� ��x�b�m:th��;E�ӧO��;���%N0Լ��K�s����S ���={jnB�=T��Qd�� �0���� ۣ������=���v����N2��Ih� ����L+�1�+�1�3��X�� �l\�k���C�n��ŷxM��oJ?�V2�3oϑ�� ��G�a�����K��Tv� ��ڿ��L�Ğ�g-�z�� d{�Iq�q�� �&$��v��L�b�?�xVt������Sv��3�Xa�J���� �l�� ��$t�J ���6�e/+3�d��J�O�O��x5gi�� ��� ��0t���ܲq ?;��?�Sq��ĩ�� �/Kf/ ��w���}s�/E��6��8����<��$j��ɚZ2K�w9w�@��<|�����x���W���5�.̚5ˁ�mQVVV\\\XX���c �^~� ,���T៙T�Ι8q�fy+V�P \Dy�� T��u�dѱcG��b۶m�·\� Q�@ �� |x��գ���~h�z/^��0�۷o� ���8Eڲ^��߿ Uzz�ڪ�j� ͎7n����"������ ��ڵ��1G�֭�-� �כz�����k,WZZZTT��� q���?� ����F璓�� ^d������ ���o��J5j�8~����I\Y��4i���W^y%����"���{ѫsC�ܬ��u��͛UW'K��-Z����JJJ���EQd�� �0�����E����xj���8�s�N��� �� ��9%�� �5 |���U��z|�й�g��Y�K?���$��� �7��}��2��Lˑ��u��灩@�E������ ��Z��+r�ƣ�'�xf�^�Y �=�������̧��X���@�Ն��E. |�S�yߕ����k�=Gz�.�n߄����������NJ�+�3����b�b�H&�l����?m�%�����o�Cu;Xd9Pz��9��M��S�� ۣG���ܦM��Չs �V� �=X� :�{ �Q�vmͭزe���"���C�͞=�W�^M�6 �ڥf͚� �0 �x���ڵF��j��a�9T�� �"?} q�Y&������� ��q^k/ ���U��� ��� 04 ���P++5�����L���Ä�R=��GWD�颧�F�O�tʐ-xc"�} ����Z�L�z��.�~�+� �c-⥟� �O��"�-��� �l AQ� �1q67=������/ d~nC �;���2QdC,��ݾ�M�JMy�� T��E��/^4�C�ĉm�M� b�ȓ��=t�PNNΐ C�7onp�{c����ݻ5Wq� iӦ��曒��V�Z�^��9�j���͝c�� Gj��/��. .�<|�����N�:��ϟ����rC�ܹs�5�ر����5k���ƹ�kiN�����{w�K��̴�Q ��";�9�h߾�f�.\P \Dy�� T��Eǎ�;06i���s�7D���W����N�0 �����.^��J?����&''�G����C�;v숮Jl�ڪ�����-�� �p���-"��+. ��y�Z�j���U hٲ�����;u�T��Xӳgϳg�Z�.�F�oݺշo�8wΣG���x����%t������ToIuGX��� �hW�����F������a��ѿ��S�N�֕ W�^��b�?��Cuu�h�8ZX�l��Ҟy��������J�\�z�,X� D��J\ �aa�n+�"����t^���L��^ |��m��{C<����?j�Ih�|� ^jj�������ܹ��ttQ8 �� �}?����sK �T4m�L�bz���V�Y��TV��h��0��?1�?s� �ۢȢbf�?�Z���@ϑ�� Qd �"� ��%~�m���B2�~ˏ����AB��b���933^4�÷��,2 �r�JZZ���GYYY6�I���К&M��5ЧO���ּy� �n9�Ol��Ή���������;,��N �<|����"��M�~�Auu�� �M�4k�v��w�j�233-�Q��5�P���j柕g�~���誦L��� '�A�w�OTWQ�E$�a�W }�y�֭ ��k�ˍ3Fr oE,S�Ǐ75pwF��nݪw�wyM�41U������cr� JS�Р� �ػw��A�gϞ�����F�} ��~X�dI�w8�\TT��ƍ'b ��y�^IO�����ܖ��,ե=ݽ{�������ϟ?o����j%4�0;T���D��%kegS�0�ܺ�8��<�旲� +�h���@Y�Ͼ ���z�r������b�����jn�'� r�'4l�lY���'^�y�ɶ��L�v�P��h�M�~��<�ث}F�XŠ�^��?"�E�� st����w�y�� r�E�x5v����ߏ��s�?�H��;c�S����G�} P��� F�P�� ����߯���ާF}�Q g�mQd ---%%Ů�5m��ԜH����s�7s�L��ËLy�� T�� �Oo�� u�P7D��. �YCō4�m�^����Ǐ�������-Zس�V-\�0��y�橭�Iz�u%o��f������ �h��Ǚ�X���W^yE�"+Q�rmڴ�z��ٍra9777 �2x� Se�ܹ3z Ç7��m�s���� �м�L��{����E�Bzg����8�p������j "֕ ���u����i'O�T �izw�KII RXؼy�ly�$���n۶�B D��Jt �aj�n+�" u��Vv��IGqN��7$ �滃='Ϛ��� �8E kjII��+��v��b3�{E ����pë�z�"�?�Ͼ�� �~�z8$����8�,��~��흳4FS?/ ��K�� rt^�� τ9%���G E�S���ޒD�\�gz �-f��'g�x%��с ��ֹ ��唇o�Cu;X$ �~���� ���u��h.�"ۮo߾N���s�t��i��� �pAuup�� F�P�V�۷O��8i�$�����Ț�INN����Ν;�p�� ����תU+zi F��x̊+�P�~}{6ت�ӧGW%JU �c�ݻ�ꫯj��- TWwQ�E$�aڹs�4�6���㝩a�رz5:tHf ��" 6�;��h�/��J�0�\Z�h� ��+ח�}���E�S���B?�y�-�Y�J���|����\C� �?��3Qdq���� n�<|����"�@����7n��IQ߾}1�cQ�jժ���֩SG���j֬Y�^=�@�iv���� ���;'w��mҤ�f� ?݅k �2�v���/��;B;vLuu��� �8GШQ��nj=:�1�j�z����}���ы'��/VKr�f��c ���O��Ϣ��^l��;��c����S�G�Qޥk�D�ʼ���Us =��ȫ$��� Ͼ?ܯ9�QP�է�7<��O-��xK�D���"�Dӽ�"�vgYF�"g/+}\�sĜ�7qQ�%?5���n�l�jS�n���,t��g�Ά�=��If��F����f���{�� � �2�v� f��ƍz�� ��~I� ���E���Ç 6�\zz��M�|��~YYٴi� �;r�3e 7w�.\6l�^�<--����k� �2�v0����e����Hn�"w��%��Ν;G<, �a 4�z���қ�2b��?��S�a�3';��wߍ.I����D�s�ΤI�jժ��r������n�:x�H�;´�͛kvz���dݻw�,�~��2O�?�QPP .x��Ք�裏$�� r� }4��+�o7p�� q�l����|�I��7m��$�����-"���ı � ���\Z��tE5j���綾n߾���"/^�8z �f�r�ϥ�lܸQsw��d�����Ǐ{�����\%''G��ʵo��ԩST���ߨQ �2RRR�{� � =y�d�I �+%�V� �Z��� �� ��Qda�,�Ѩ�1V�� Sz���I��/��B���O�8aN�mwU=� ��ˮ� yBs������?�YQ�=�D�O �=g���B�1|���ݾb�=o\����kQd��ȿ����'��yR;�S��I�l��^ \ �.�r�����9�g"/�";I2�l����$.����7��� � Y��l���K��� �?�Xā����x@�Od�+����UH��b��g3����3� �Z � ��ueYSK:����M�Ly�g?�/Э�A�k/- �X�S�q"��� U��o�Cu;Xd �y�A��K�.�R=f��"?} �����ժU �b��o�gΜ��''M���F��͝���� ��{�� �r�ȑ k���ύ��b��x� �2�v0����;�̝;Wuu��Enݺut�gΜ�,U��%W$��o�����+��|���Ç۰�V5m�T���ի7hРU�V={���o��f����WX� ��C�y\�,ޤ�}�'<�F�wR�L}��o� ��j, �\r9D��r,���� ����N�X1zcg~�Jj9=GzN����b�a�L.�� ϝ�1γ����|����̗�V���k�����=Q�.C=��?I��^5��c����ᯈ��K֪L�<.ۊ��JE�J�B� �Z�������а�^��.Z��?�";��" �\����L�|�Ђ�R7q� 5 ���e���n�� ������T��d/E6^��{����� .�v�L�PHy�� T��E��۷o�EY�N�:'�6�Q�� X�D+j�R�����:�Q�ps���ի�^Uz���J�т�o�Cu;���v�ء��Hn�"7l�0������G��w� �5k&9�Ӷm�47v �|��� �n�j� ���2мy�� ��� 5��H��S���.�M�6.\P 8�Ku��Tw�97n��;�� ���J֮ �Wə3gb ������۷�^1m۶�I+�'�|��U�Jl�Sڷo��35���뙙�6l r�BTv������ L���1BuiE�4i�ޑy�ȑ�W�pY\b�:�ԯ ��+V�x��A"�1+== �Nq9/�yh���P�z��={J�� ю;�w�� ��o�M��q��%� u��Ҏ9��MhԨ�� ��$���c���P�V8EWj�Ԏ�<7�/|�"�|������d� ��� ��V�-Q�r9�K����^&5��乲��ʌq�JN�e� ��jn��l=� �nQ{ �3K�T�C� �j�x+���=�aS,��LcEv�E�L��˔t��� ������1�S1տ��"���1���VAp���- |�n���~���|�����?y�$ѵ� ��R�?����-ҋ6%%%=~�ر����;G�� �+���b� ζ0�<|�����5k������/��ERE��իG���G?x߾}������2����P۶m�O zU}���6l�%z�h�mƸq�. ���xc��ȵkמ9s����PNu��Tw�9��;9�-?nھ}{̧�� 1�Y��V�"=zT����l˕������'�ժU룏 :y�3u��R�E$�a��Ǐ��B�ϺJ����Ԧ�v���G�?����r�ҸW�^{��Q�i�x�wӊ Xۮ����Oi~��W��^���\oM���������?�����/ �W��%Kd�@Y-�r/����p8�|��lX+�����"�g�q@��K��N�eM5�|��cc9I��;�x���{��� �ngY����� g�k ��jn��T������|L� .� %��:<�YĽ��㚟������t���� �aF�|w�����'��$���� "� ���K���D��%��T�pq���n{%��o�Cu;X� 5��;�:P���BNN��~;v��E�/O�:��F��͝�G �\�n� ��2bR�e��� ڂ�B�������<�,� �̙3G���ڵ�~������\ё G4W������G?x�ܹqmm.^���W����� fvF �G����W�XA1��"��0G�w���ͩm V�W��իc ��Ǖ+W�ԩ�����?���E�{K0}�t˕���|�6Iݻw?w�բ�R�E$�a�����ʕ+UW� Q�͛7�M� 4i�D�v�19Enժ���M����$���N�