Pandas面临挑战，100GB以下不再是最佳选择

Pandas 似乎正在落后于时代。一篇技术评论指出，其低效使得用户不得不提前转向分布式系统。换句话说，许多团队在数据量未达到需要集群的水平时，就已经开始使用 Spark 等工具。然而，对于这个数据规模，早有更高效的替代工具。100GB成为了一个关键界限。

评论指出，在100GB以下的工作负载中，Polars 和 DuckDB 能够更快地处理数据且内存占用更低，这意味着在这一范围内，Pandas 已不再是最佳选择。这里的逻辑并不是说 Pandas 完全不可用，而是当存在更快的工具时，继续使用老旧的方法就显得毫无必要，最终会导致隐性的成本增加。

此外，文中提到的因果关系尤为值得关注：由于 Pandas 的效率不足，用户会提前迁移到分布式系统。而这种迁移的时机是不恰当的——数据量尚未达到需要的程度，但复杂性却已经升级。相较之下，Polars 和 DuckDB 恰好处于这个数据量的中间地带：它们比 Pandas 更快，但又不需要完整的分布式架构。 龙8头号玩家

虽然文章并没有提供详细的基准测试数据，但对于 Pandas 的未来，作者使用了“过时”这个词，特指在中等数据规模的场景，而非所有情况。