Koala OSS Club


F3 | 自带 Wasm 解码器的列存格式


F3 全称 Future-proof File Format,是一种面向未来的开源列式存储格式,论文发表在 SIGMOD 上。它最大的创新是把一个 WebAssembly 解码器直接嵌进每个文件里,只占几 KB,却能让任何平台无需原生库就解码数据,还提供通用 API 让开发者自定义编码方案,从根上解决 Parquet 这类格式规范升级后旧版本读不了的碎片化问题。 点评:Parquet 等格式都是为上一代硬件设计的,编码方案一旦固化就很难演进,这是整个数据湖生态的隐疾。F3 用 Wasm 把解码逻辑随数据一起分发,相当于给文件格式装上可插拔的引擎,思路很巧妙。不过把解码器塞进文件也意味着要为 Wasm 的运行时开销买单,目前项目还只是研究原型,作者明确不建议上生产。但有 Wes McKinney 这样的 Arrow 核心人物背书,这个方向值得长期关注。