python处理百万级数据如何提高检索速率？

Question

数据库是postgresql
python 主要做查询，检索数据。

Answer 1

我们用 Postgres 作数据存储，性能方面 Python 这边需要关注的比较少，只需要注意

1. 不绑外键，一致性用程序保证，加快写入

2. 不做 join，需要关联的都转化成单表查询，增强查询性能

3. 如果用 Python 作为业务系统，对一些查询结果做缓存

即可满足大部分场景的需求了

Answer 2

1.请描述业务场景、业务需求、性能需求、数据量等。根据这些因素可以检查出抽象层面上的问题。比如应该使用非关系型数据仓库产品的场景，你们却使用了关系型数据库，并做了一致性校验、数据关联。

2.请检查系统的软硬件瓶颈，根据这些因素可以检查出细节层面上的问题，比如经过日志染色分析发现瓶颈是在python中间件对数据库连接的频繁开闭上。