Reading

Python的列表和元组

列表和元组总结

列表和元组都是一个可以放置任意数据类型的有序集合,他们有以下共同点

  • 列表和元组中的元素可以任意,并且都可以嵌套。
  • 列表和元组都支持索引,且都支持负数索引,-1表示最后一个元素,-2表示倒数第二个元素
  • 列表和元组都支持切片操作
  • 都支持in关键词
  • 都可以使用.index().count()sorted()enumerate()等方法
  • 两者之间的相互转换,list()和tuple()

但是他们也是有区别

  • 列表是动态的,长度大小不固定,可以随意地增加、删减或者改变元素(mutable)
  • 元组是静态的,长度大小不固定,无法增删改,想要对已有的元组做任何“改变”,就只能开辟一块内存,创建新的元组

列表和元组存储方式的差异

由于列表是动态的;元组是静态的,不可变的。这样的差异,势必会影响两者存储方式。我们可以来看下面的例子:

>>> l = [1, 2, 3]
>>> l.__sizeof__()
64
>>> tup = (1, 2, 3)
>>> tup.__sizeof__()
48

上面的例子中,元组和列表都放置了相同的元素,但是元素的存储空间却比列表要少16字节。这是因为列表是动态的,所以它需要存储指针,来指向对应的元素,对上例子中,因为存的是int型,所以这个值是8字节。另外,由于列表是可变的,所以需要额外存储已经分配的长度大小(8字节),这样子才可以实时追踪列表空间的使用情况,当空间不足时,及时分配额外空间。

下面我们模拟一下列表空间分配的过程

>>> l = []
>>> l.__sizeof__()  
40  # 空列表的存储空间为 40 字节
>>> l.append(1)
>>> l.__sizeof__()
72  # 加入元素1之后,列表为其分配了可以存储4个元素的空间 (72-40)/8
>>> l.append(2)
>>> l.__sizeof__()
72  # 由于之前分配了空间,所以记入元素2,列表空间不变
>>> l.append(3)
>>> l.__sizeof__()
72  
>>> l.append(4)
>>> l.__sizeof__()
72
>>> l.append(5)
>>> l.__sizeof__()
104 # 当加入元素5的时候,列表空间不足,所以又额外分配了可以存储4个元素的空间

我们可以看到,为了减少每次增加/删除操作时空间分销的开销,Python每次分配空间时都会额外多分配一些,这样子的机制(over-allocating)保证了其操作的高效性:增加/删除的时间复杂度均为\(O(1)\)。而元组长度大小固定,元素不可变,所以存储空间固定。

列表和元组的性能

通过上述可以看到元组比列表要更加轻量级一些,所以总体上来说,元组的性能速度要略优于列表。另外,Python在后台,对静态数据会做一些资源缓存。通常来说,因为垃圾回收机制的存在,如果一些变量不被使用了,Python就会回收它们所占用的内存,返还给操作系统,以便其他变量或者应用使用。但是对于一些静态变量,比如元组,如果它不被使用并且占用空间不大时,Python会暂时缓存这部分内存。那么下次我们再创建同样大小的元组时,Python就可以不用再向操作系统发出请求,与寻找内存,而是可以直接分配之前缓存的内存空间,这样就能大大加快程序的运行速度。

下面演示,初始化一个空的列表和元组分别所需的时间,可以看到元组的初始化速度,要比列表快:

image
这个测试会跟测试的环境所关,我在windows上测的话,时间几乎没差别,然后我换到装在虚拟机里面的ubuntu16.04 64位系统,并给它分配了2GB内存,测试效果如上。

当然我们可以通过增加初始化的次数来进行,如下所示:

>>> import timeit
>>> timeit.timeit('a=[]',number=100000)
0.0036053537262432656
>>> timeit.timeit('a=()',number=100000)
0.0023545833664684324

假如是索引操作的话,两者的速度差别不大,如下:

>>> import timeit
>>> timeit.timeit('l[2]','l=[1,2,3,4,5,6]',number=100000)
0.004119004664845605
>>> timeit.timeit('t[2]','t=(1,2,3,4,5,6)',number=100000)
0.004483832125249165

但是假如想要增加、删除或者修改元素的话,那么列表显然更优。因为对于元组来说,必须得创建一个新的元组才行。

timeit.timeit(stmt='pass', setup='pass', timer=<default timer>, number=1000000):创建一个Timer实例,参数分别是stmt(需要测量的语句或函数),setup(初始化代码或构建环境的导入语句),timer(计时函数),number(每一次测量中语句被执行的次数)

列表和元组创建方法推荐

想创建一个空的列表,我们可以用下面两种方式

l = []      # 第一种方式创建
l = list()  # 第二种方式创建

这两种方式区别主要在于list()是一个function call,Python的function call会创建stack,并且进行一系列参数检查的操作,比较费时;而[]是一个内置的C函数,可以直接被调用,因此效率高。测试效果如下:

>>> timeit.timeit('l=[]',number=100000)
0.0035447046600438625
>>> timeit.timeit('l=list()',number=100000)
0.017651677483172534

列表和元组的使用场景

  1. 如果存储的数据和数量不变,比如你有一个函数,需要返回的是一个地点的经纬度,然后直接传给前端渲染,那么肯定选用元组更合适
  2. 如果存储的数据或数量是可变的,比如社交平台上的一个日志功能,是统计一个用户在一周之内看了哪些用户的帖子,那么则用列表更合适。

pytho中的可变对象与不可变对象

可变对象与不可变对象的区别在于对象本身是否可变。

python内置的一些类型中

  • 可变对象:list dict set
  • 不可变对象:tuple string int float bool
    举一个例子
# 可变对象
>>> a = [1, 2, 3]
>>> a[1] = 4
>>> a
[1, 4, 3]
# 不可变对象
>>> b = (1, 2, 3)
>>> b[1] = 4
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'tuple' object does not support item assignment

上面例子很直观地展现了,可变对象是可以直接被改变的,而不可变对象则不可以

地址问题

下面我们来看一下可变对象的内存地址变化

>>> a = [1, 2, 3]
>>> id(a)
2139167175368
>>> a[1] = 4
>>> id(a)
2139167175368

我们可以看到,可变对象变化后,地址是没有改变的

如果两个变量同时指向一个地址

可变对象

>>> a = [1, 2, 3]
>>> id(a)
2139167246856
>>> b = a
>>> id(b)
2139167246856
>>> a[1] = 4
>>> a
[1, 4, 3]
>>> b
[1, 4, 3]
>>> id(a)
2139167246856
>>> id(b)
2139167246856

我们可以看到,改变ab也跟着变,因为他们始终指向同一个地址

不可变对象

>>> a = (1, 2, 3)
>>> id(a)
2139167074776
>>> b = a
>>> a = (4, 5, 6)
>>> a
(4, 5, 6)
>>> b
(1, 2, 3)
>>> id(a)
2139167075928
>>> id(b)
2139167074776

我们可以看到,a改变后,它的地址也发生了变化,而b则维持原来的地址,原来地址中的内容也没有发生变化

作为函数参数

可变对象

>>> def myfunc(l):
...     l.append(1)
...     print(l)
...>>> l = [1, 2, 3]
>>> myfunc(l)
[1, 2, 3, 1]
>>> l
[1, 2, 3, 1]

我们可以看到,可变对象作为参数传入时,在函数中对其本身进行修改,是会影响到全局中的这个变量值的,因为函数直接对该地址的值进行了修改。

不可变对象

>>> def myfunc(a):
...     a += 1
...     print(a)
...>>> a = 2
>>> myfunc(a)
3
>>> a
2

对于不可变对象来说,虽然函数中的a值变了,但是全局中的a值没变,因为函数中的a值已经对应了另外一个地址,而全局中的a值指向的原来地址的值是没有变的。

总结

python中向函数传递参数只能是引用传递,表示把它的地址都传进去了,这才会带来上面的现象。

有的编程语言允许值传递,即只是把值传进去,在里面另外找一个地址来放,这样就不会影响全局中的变量。

可变参数在类中使用

我们直接来看下面这个例子

class Myclass:
    def __init__(self, a):
        self.a = a
    def printa(self):
        print(self.a)

运行如下

>>> aa = [1,2]
>>> my = Myclass(aa)
>>> my.printa()
[1, 2]
>>> aa.append(3)
>>> my.printa()
[1, 2, 3]

我们可以看到,类中的变量和全局变量地址依然是共用的,无论在哪里修改都会影响对方。

其实这个特性也不能说是一个弊端,利用这一点可以进行一些很方便的操作,比如两个线程同时操作一个队列,我们不用设置一个global队列,只要将队列这个可变对象传入类之中,修改就会自动同步。

下面这个生产者消费者例子就是这样

import time
import threading
import random
from queue import Queue

class Producer(threading.Thread):

    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue

    def run(self):
        while True:
            random_integer = random.randint(0, 100)
            self.queue.put(random_integer)
            print('add {}'.format(random_integer))
            time.sleep(random.random())
class Consumer(threading.Thread):
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue

    def run(self):
        while True:
            get_integer = self.queue.get()
            print('lose {}'.format(get_integer))
            time.sleep(random.random())

def main():
    queue = Queue()
    th1 = Producer(queue)
    th2 = Consumer(queue)
    th1.start()
    th2.start()

if __name__ == '__main__':
    main()

queue传入两个类中,在两个类中随意更改,自动在两个类间同步。

函数默认参数

函数默认参数一定要设定为不可变参数,否则会引发一些错误,我们来看下面一个例子

>>> def myfunc(l=[]):
...     l.append('add')
...     print(l)
...>>> myfunc([1, 2, 3])
[1, 2, 3, 'add']
>>> myfunc(['a', 'b'])
['a', 'b', 'add']

上面代码是正常运行的,我们来看下面这些

>>> myfunc()
['add']
>>> myfunc()
['add', 'add']
>>> myfunc()
['add', 'add', 'add']

按理说应该每次都是['add'],但是现在出现了意想不到的错误。

这是因为l = []是在函数定义时就确定下来的了,所以之后每次调用这个函数,使用的l都是同一个,如果不指定这个参数的新值,就会出现上面这个问题。

上面这个l可以默认设置为None,这就是一个不可变对象。

两种类在实现上的差异

对于list tuple这些类来说,它们的元素都相当于类的属性,修改元素相当于修改类的属性。

正常定义一个类它的属性是可以正常访问和修改的,所以那些类的实例都是可变对象。

我们只要定义一个类,不允许它修改属性,就可以创建一个不可变对象。

这就要使用python的魔法方法,主要有两种方法

  • 设置__setattr__直接抛出异常,即只要想设置属性值,就会抛出异常
  • 设置__slot__限制属性的访问,如果属性都不能访问了,那就肯定不能修改