首页 存档 技术 查看内容

Python __slots__ 详解

2018-3-30 13:00 |来自: 互联网 294 0

摘要: Python老鸟都应该看过那篇非常有吸引力的Saving 9 GB of RAM with Python’sslots文章,作者使用了__slots__让内存占用从25.5GB降到了16.2GB。在当时来说,这相当于用一个非常简单的方式就降低了30%的内存使用,着实 ...

Python老鸟都应该看过那篇非常有吸引力的Saving 9 GB of RAM with Python’sslots文章,作者使用了__slots__让内存占用从25.5GB降到了16.2GB。在当时来说,这相当于用一个非常简单的方式就降低了30%的内存使用,着实惊人。作者并没有提到他的业务特点和代码,那我们就基于《fluent python》中的例子来验证下是不是有这么厉害:

  1. from __future__ import print_function

  2. import resource

  3. class A(object):

  4. def __init__(self):

  5. self.a = 'string'

  6. self.b = 10

  7. self.c = True

  8. class B(object):

  9. __slots__ = ['a', 'b', 'c']

  10. def __init__(self):

  11. self.a = 'string'

  12. self.b = 10

  13. self.c = True

  14. def test(cls):

  15. mem_init = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss

  16. l = []

  17. for i in range(500000):

  18. l.append(cls())

  19. mem_final = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss

  20. del l

  21. print('Class: {}:\n'.format(getattr(cls, '__name__')))

  22. print('Initial RAM usage: {:14,}'.format(mem_init))

  23. print(' Final RAM usage: {:14,}'.format(mem_final))

  24. print('-' * 20)

  25. if __name__ == '__main__':

  26. import sys

  27. test(globals()[sys.argv[1].upper()])

我们分别跑一下这2个类:

  1. python mem_test.py a

  2. Class: A:

  3. Initial RAM usage: 4,890,624

  4. Final RAM usage: 200,454,144

  5. --------------------

  6. python mem_test.py b

  7. Class: B:

  8. Initial RAM usage: 4,919,296

  9. Final RAM usage: 60,235,776

2种方法初始内存略有差别,但是由于这个差别和总内存量相比太小而忽略不计,结论就是:

使用slots可以让内存使用减少3.5倍!!# 通过 (200 - 4) / ((60 - 4) * 1.0) 计算得来

那么用slot就是非非常那个有必要吗?事实上500000个实例这种机会非常少见,用不用完全根据业务来决定,并不要以偏概全。因为(敲黑板了哈)使用__slots__也是有副作用的:

  1. 每个继承的子类都要重新定义一遍__slots__

  2. 实例只能包含哪些在__slots__定义的属性,这对写程序的灵活性有影响,比如你由于某个原因新网给instance设置一个新的属性,比如instance.a = 1, 但是由于a不在__slots__里面就直接报错了,你得不断地去修改__slots__或者用其他方法迂回的解决

  3. 实例不能有弱引用(weakref)目标,否则要记得把__weakref__放进__slots__

第三点有点难理解,我写个例子看看吧:

  1. In [2]: %pycat ref_example.py

  2. from weakref import ref

  3. class A(object):

  4. __slots__ = ['b']

  5. def __init__(self):

  6. self.b = 1

  7. class B(object):

  8. __slots__ = ['b', '__weakref__']

  9. def __init__(self):

  10. self.b = 1

  11. In [3]: from ref_example import *

  12. In [4]: a = A()

  13. In [5]: r = ref(a)

  14. ---------------------------------------------------------------------------

  15. TypeError Traceback (most recent call last)

声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

相关分类

返回顶部