Generator生成器函数,揭示yield关键字的神秘面纱

by admin on 2019年3月30日

写在题词

1.迭代

在了解生成器以前,先清楚迭代。

 

bf88必发唯一官网 1

时常会映入眼帘,python函数中带有yield关键字,那么yield是什么样,有啥样效力?

1.1 迭代

Generator生成器函数,揭示yield关键字的神秘面纱。要是给定二个list或tuple,大家可以透过for循环来遍历那个list或tuple,那种遍历大家誉为迭代(Iteration)

alist = [1, 2, 3, 4, 5]

for i in alist:
    print(i)

1
2
3
4
5

正如将列表中的成分通过for循环,遍历了上上下下alist列表,这种不另行地便民在那之中间的每三个子项的行为就是迭代。

铺天盖地小说 — ES6笔记类别

Yield

 

1.2 可迭代对象

能够一向效果于for循环的对象统称为可迭代对象:Iterable,可迭代对象一般都完成了__iter()__办法,可迭代对象通过其内建的方__iter()__回到二个迭代器对象。

a_iterable = [1, 2, 3]

a_iterator = iter(a_iterable)  # 将可迭代对象转化为迭代器

next(a_iterator)

1

next(a_iterator)

2

next(a_iterator)

3

 

基本功概念

答案:能够领悟yield是3个生成器;

1.3 迭代器

能够被next()函数调用并持续重临下三个值的目的称为迭代器:Iterator,迭代器其内完结了__iter__方法和__next__措施,for循环本质是通过调用可迭代对象的__iter__方法,该措施重返三个迭代器对象,再用__next__措施遍历元素

概念2个迭代器:

class MyRange:
    def __init__(self, end):
        self.index = 0
        self.end = end

    def __iter__(self):
        return self

    def __next__(self):
        if self.index < self.end:
            val = self.index
            self.index += 1
            return val
        else:
            raise StopIteration()

my_range = MyRange(3)

print([i for i in my_range])

[0, 1, 2]

print([i for i in my_range])

[]

迭代器只可以迭代2回,每便调用调用 next()
方法就会上前一步,不可能后退,所以当迭代器迭代到结尾时,就不可能重新利用,全数要求将迭代器和可迭代对象分别定义

修改下边包车型客车可迭代对象:

class MyRange:
    def __init__(self, end):
        self.end = end

    def __iter__(self):
        return MyIterator(self.end)

class MyIterator:
    def __init__(self, end):
        self.index = 0
        self.end = end

    def __iter__(self):
        return self    

    def __next__(self):
        if self.index < self.end:
            val = self.index
            self.index += 1
            return val
        else:
            raise StopIteration()

my_range = MyRange(3)

print([i for i in my_range])

[0, 1, 2]

print([i for i in my_range])

[0, 1, 2]

接触过Ajax请求的会遇上过异步调用的标题,为了确认保证调用顺序的科学,一般大家会在回调函数中调用,也有用到一些新的化解方案如Promise相关的技术。

在异步编制程序中,还有一种常用的消除方案,它便是Generator生成器函数。顾名思义,它是四个生成器,它也是三个状态机,内部有着值及相关的景色,生成器再次来到2个迭代器Iterator对象,大家得以透过那个迭代器,手动地遍历相关的值、状态,保障科学的推行各样。

可迭代对象

python中,一般能够被for循环遍历的对象正是可迭代对象。
拥有__iter__()主意的靶子称之为可迭代对象,__iter__()艺术再次回到2个迭代器。

职能:碰着yield关键字,函数会直接再次来到yield值,相当于return;不相同的是下次调用的时候会从yield之后的代码开始实践。

2. 生成器

生成器与可迭代对象、迭代器的关联

bf88必发唯一官网 2

图表来自Iterables vs. Iterators vs.
Generators

生成器对象,在历次调用它的next()方法时重回三个值,直到它抛出StopInteration。

生成器是能够迭代的,可是你 只能读取它二次,因为它并不把持有的值放在内部存款和储蓄器中,它是实时地变化数据,
能够用生成器表明式创造:

my_generator = (x ** 2 for x in range(3))

my_generator

<generator object <genexpr> at 0x7f975b7a4af0>

for i in my_generator:
    print(i)

0
1
4

yield

能够写一个家常的包含yield语句的Python函数,Python会检查和测试对yield的采纳并将函数标记为贰个生成器,当函数执行到yield语句时,像return语句那样再次来到八个值,可是解释器会保存对栈的引用,它会被用来在下一回调用next时回涨函数。

def my_generator():
    yield 1
    yield 2
    yield 'a'
    yield 'generator'

g = my_generator()

g

<generator object my_generator at 0x7f975b7a4d58>

next(g)

1

next(g)

2

next(g)

'a'

next(g)

'generator'

next(g)

---------------------------------------------------------------------------

StopIteration                             Traceback (most recent call last)

<ipython-input-12-5f315c5de15b> in <module>()
----> 1 next(g)


StopIteration: 

上面包车型地铁例子中,每一趟调用next()开始实时地扭转数据,并重返,因而生成器只可读取三回,上次施行读取的值在下次施行中就不只怕读取。当全部生成器的值都被读取后,在调用机会晤世StopIteration的一无可取。

def my_gen():
    for i in range(5):
        yield i ** 3

my_gen()

<generator object my_gen at 0x7f975ae15a40>

mygen = my_gen()

for i in mygen:
    print(i)

0
1
8
27
64

老是执行到yield语句,则赶回一个值,再实践的时候从上次停下来的地方伊始实践。yield语句保存了上次进行后的意况,下次执行不是从头开首,而是从上次的情景起始。

当调用my_Generator生成器函数,揭示yield关键字的神秘面纱。gen()那么些函数的时候,函数内部的代码不会立时施行,而是回到三个生成器对象,当使用for循环进行遍历的时候,函数内部的代码开首执行,执行到yield说明式重临二个值,记录当前情状并终止,下1遍的拜访时再从这么些意况初始实践。

举二个不太合适的例证,普通的函数便是没有存档的游戏,只要游戏起初,就玩到结尾,下3回再玩照旧从头开始,而生成器正是加了存档,下次玩从上次存档的地点起初

 

迭代器

迭代器是造访集合内成分的一种情势。迭代器对象从集合的第一个成分最先走访,直到全部的因素都被访问2遍后告竣。
能够应用工厂函数iter()重回一个迭代器。

>>> iter([1,2,3])
<listiterator object at 0x1100b6a50>

 

关于生成器的盘算

(瞎掰的。。。。)生成器到底起到何等吗成效吧,即便生成三个生成器对象,而生成器对象自然是1个迭代器,所以能够这么说,生成器重临了一个方可用for循环遍历所以子项,能够用next()方法访问下一个子项,能够在走访时动态的更动数据而节本省部存款和储蓄器的靶子。

① 、不难利用

for循环遍历可迭代对象进程

  1. Python将对重庆大学字in后的对象调用iter函数获取迭代器
  2. 调用迭代器的next方法取得成分,直到抛出StopIteration极度。
  3. 对迭代器调用iter函数时将回到迭代器本人,所以迭代器也得以用于for语句中,不须求新鲜处理。
    代码如下

it=iter(lst)
try:
      while True:
          val=it.next()
          print val
except
      StopIteration:
          pass

生成器是怎么样?

阅读

一心精晓 Python
迭代对象、迭代器、生成器
对 Python
迭代的深深钻研
Python迭代器和生成器
3.
(译)Python关键字yield的解释(stackoverflow)
Python之列表生成式、生成器、可迭代对象与迭代器

1. 声明

Generator的宣示格局接近一般的函数注解,只是多了个*号,并且一般能够在函数内见到yield关键字

function* showWords() {
    yield 'one';
    yield 'two';
    return 'three';
}

var show = showWords();

show.next() // {done: false, value: "one"}
show.next() // {done: false, value: "two"}
show.next() // {done: true, value: "three"}
show.next() // {done: true, value: undefined}

如上代码,定义了2个showWords的生成器函数,调用之后回来了二个迭代器对象(即show)

调用next方法后,函数内进行第三条yield语句,输出当前的情状done(迭代器是否遍历达成)以及相应值(一般为yield关键字背后的演算结果)

每调用二遍next,则实施2遍yield言辞,并在该处暂停,return实现以往,就退出了生成器函数,后续倘使还有yield操作就不再履行了

正文

在stackoverflow中观望那样八个题目 What does the “yield” keyword do in
python

中间排行最高的应对对自个儿有一点都不小扶持,由此将其翻译下来分享给我们答案。
眨眼之间间是译文:

要驾驭什么是yield重在字,须求求清楚什么是生成器,而要通晓生成器,首先要明了什么是迭代器

是足以迭代的,不过你
只好够读取它2次
,因为它并不把全部的值放在内部存款和储蓄器中,它是实时地扭转数据:

2. yield和yield*

神跡,大家晤面到yield之后跟了2个*号,它是怎么样,有何用吧?

类似于生成器前边的*号,yield前边的星号也跟生成器有关,举个大栗子:

function* showWords() {
    yield 'one';
    yield showNumbers();
    return 'three';
}

function* showNumbers() {
    yield 10 + 1;
    yield 12;
}

var show = showWords();
show.next() // {done: false, value: "one"}
show.next() // {done: false, value: showNumbers}
show.next() // {done: true, value: "three"}
show.next() // {done: true, value: undefined}

增添了二个生成器函数,我们想在showWords中调用二回,简单的 yield
showNumbers()之后察觉并不曾进行函数里面的yield 10+1

因为yield只可以维持原状地回来左侧运算后值,但近日的showNumbers()不是相似的函数调用,重临的是迭代器对象

所以换个yield* 让它自动遍历进该对象

function* showWords() {
    yield 'one';
    yield* showNumbers();
    return 'three';
}

function* showNumbers() {
    yield 10 + 1;
    yield 12;
}

var show = showWords();
show.next() // {done: false, value: "one"}
show.next() // {done: false, value: 11}
show.next() // {done: false, value: 12}
show.next() // {done: true, value: "three"}

要专注的是,那yield和yield*
只可以在generator函数内部采取,一般的函数内选用会报错

function showWords() {
    yield 'one'; // Uncaught SyntaxError: Unexpected string
}

虽说换来yield*不会一直报错,但使用的时候依旧会有标题,因为’one’字符串中并未Iterator接口,没有yield提供遍历

function showWords() {
    yield* 'one'; 
}

var show = showWords();

show.next() // Uncaught ReferenceError: yield is not defined

在爬虫开发中,我们平日须要请求七个地点,为了保障顺序,引入Promise对象和Generator生成器函数,看那些大约的板栗:

var urls = ['url1', 'url2', 'url3'];

function* request(urls) {
    urls.forEach(function(url) {
        yield req(url);
    });

//     for (var i = 0, j = urls.length; i < j; ++i) {
//         yield req(urls[i]);
//     }
}

var r = request(urls);
r.next();

function req(url) {
    var p = new Promise(function(resolve, reject) {
        $.get(url, function(rs) {
            resolve(rs);
        });
    });

    p.then(function() {
        r.next();
    }).catch(function() {

    });
}

上述代码中forEach遍历url数组,匿名函数内部不能够选择yield关键字,改换来注释中的for循环就行了

迭代器

当您生成了1个list,能够贰个接一个地拜会那个list中的成分,那种表现被喻为迭代。

>>> mylist = [x*x for x in range(3)]
>>> for i in mylist:
...     print(i)
0
1
4

地点代码中的mylist正是1个迭代器。list类型是可迭代的。

>>> mylist = [x*x for x in range(3)]
>>> for i in mylist:
...     print(i)
0
1
4

在python中能够透过“for… in
…”
那种办法遍历的都以迭代器,像lists,strings,files…

迭代器是很好用的,因为您能够很有益于地遍历其中的因素。不过那些数量都以存在内部存款和储蓄器里的,当数据量十分大时,那种艺术就不是十三分优秀了。

 

3. next()调用中的传参

参数值有注入的效应,可转移上3个yield的重临值,如

function* showNumbers() {
    var one = yield 1;
    var two = yield 2 * one;
    yield 3 * two;
}

var show = showNumbers();

show.next().value // 1
show.next().value // NaN
show.next(2).value // 6

先是次调用next之后回到值one为1,但在其次次调用next的时候one其实是undefined的,因为generator不会活动保存相应变量值,我们供给手动的钦点,那时two值为NaN,在第三遍调用next的时候实施到yield
3 * two,通过传参将上次yield再次来到值two设为2,得到结果

bf88必发唯一官网 ,另一个板栗:

由于ajax请求涉及到互连网,不佳处理,这里用了setTimeout模拟ajax的请求重返,按顺序进行,并传递每一次回到的多寡

 1 var urls = ['url1', 'url2', 'url3'];
 2 
 3 function* request(urls) {
 4     var data;
 5 
 6     for (var i = 0, j = urls.length; i < j; ++i) {
 7         data = yield req(urls[i], data);
 8     }
 9 }
10 
11 var r = request(urls);
12 r.next();
13 
14 function log(url, data, cb) {
15     setTimeout(function() {
16         cb(url);
17     }, 1000);
18     
19 }
20 
21 
22 function req(url, data) {
23     var p = new Promise(function(resolve, reject) {
24         log(url, data, function(rs) {
25             if (!rs) {
26                 reject();
27             } else {
28                 resolve(rs);
29             }
30         });
31     });
32 
33     p.then(function(data) {
34         console.log(data);
35         r.next(data);
36     }).catch(function() {
37         
38     });
39 }

直达了按梯次请求八个地点的功用,开始间接r.next()无参数,后续通过r.next(data)将data数据传入

bf88必发唯一官网 3

只顾代码的第26行,那里参数用了url变量,是为着和data数据做相比较

因为初始next()没有参数,若是直接将url换来data的话,就会因为promise对象的数据判断
!rs == undefined 而reject

因此将第三6行换来 cb(data || url);

bf88必发唯一官网 4

经过模拟的ajax输出,可精通到next的传参值,第三次在log输出的是 url =
‘url1’值,后续将data = ‘url1’传入req请求,在log中输出 data = ‘url1’值

 

生成器

生成器是迭代器的一种,不过只好被迭代贰遍。这是因为生成器并不会将具备的数额存在内部存储器里,而是在应用的时候生成数据。

>>> mygenerator = (x*x for x in range(3))
>>> for i in mygenerator:
...     print(i)
0
1
4

上面用[]变更了一个迭代器,而那里用()扭转了3个生成器。
然则再举行

for i in mygenerator:
    print(i)

不会有任何输出,因为生成器只可以利用1遍。从前三回遍历中,生成器计算的到0,不存款和储蓄,然后总结得到1,不存款和储蓄,最终总结得到4。

有人或者会说,作者直接迭代,遍历多好,为啥要用生成器,然后去遍历生成器,那多麻烦。

4. for…of循环代替.next()

除外使用.next()方法遍历迭代器对象外,通过ES6提供的新循环情势for…of也可遍历,但与next不一样的是,它会忽略return重返的值,如

function* showNumbers() {
    yield 1;
    yield 2;
    return 3;
}

var show = showNumbers();

for (var n of show) {
    console.log(n) // 1 2
}

除此以外,处理for…of循环,具有调用迭代器接口的点子格局也可遍历生成器函数,如扩大运算符…的使用

function* showNumbers() {
    yield 1;
    yield 2;
    return 3;
}

var show = showNumbers();

[...show] // [1, 2, length: 2]

yield

Yield有点像return,不一致的是yield会重返1个生成器

>>> def createGenerator():
...     mylist = range(3)
...     for i in mylist:
...         yield i*i
...
>>> mygenerator = createGenerator() # create a generator
>>> print(mygenerator) # mygenerator is an object!
<generator object createGenerator at 0xb7555c34>
>>> for i in mygenerator:
...     print(i)
0
1
4

地点的那么些事例没有什么用,然则当您驾驭再次来到数据量极大还要只会被用到1遍时,yield关键词就很有用了。
要理解yield,你必须理解当重临生成器的函数被调用时,里面包车型客车代码实际上并没有运维。那么些函数只是回到了一个生成器的目的。那有点令人为难理解。

在for循环中,那几个生成器才会被采纳到。

近年来进来不便的一部分:
for巡回中,生成器第一次被调用到时,再次回到这么些生成器的函数会顺序执行到yield部分,然后回来这一个轮回的第三个值。每一次调用到生成器,都会履行函数中的循环贰遍,然后回来下二个值,直到没有值被重临。

当函数不再实施到yield的时候,生成器为空。这恐怕是循环甘休了大概不再满意”if/else”判断。

那么你要精晓,list列表,全部数据是储存在内部存款和储蓄器中的。即使数据量十分大,会越发耗内部存储器。

5. 更加多应用

愈来愈多利用可参考 MDN –
Generator

回复题主的标题

生成器

# Here you create the method of the node object that will return the generator
def node._get_child_candidates(self, distance, min_dist, max_dist):
  # Here is the code that will be called each time you use the generator object:
  # If there is still a child of the node object on its left
  # AND if distance is ok, return the next child
  if self._leftchild and distance - max_dist < self._median:
      yield self._leftchild
  # If there is still a child of the node object on its right
  # AND if distance is ok, return the next child
  if self._rightchild and distance + max_dist >= self._median:
      yield self._rightchild
  # If the function arrives here, the generator will be considered empty
  # there is no more than two values: the left and the right children

# Create an empty list and a list with the current object reference
result, candidates = list(), [self]
# Loop on candidates (they contain only one element at the beginning)
while candidates:
    # Get the last candidate and remove it from the list
    node = candidates.pop()
    # Get the distance between obj and the candidate
    distance = node._get_dist(obj)
    # If distance is ok, then you can fill the result
    if distance <= max_dist and distance >= min_dist:
        result.extend(node._values)
    # Add the children of the candidate in the candidates list
    # so the loop will keep running until it will have looked
    # at all the children of the children of the children, etc. of the candidate
    candidates.extend(node._get_child_candidates(distance, min_dist, max_dist))
return result

上边的代码有多少个有趣的地点

  • 循环迭代了一个list的同时,也在往list里面添比索素。那种方法得以很简单遍历全数相邻的数据,即便有恐怕导致极其循环。

candidates.extend(node._get_child_candidates(distance, min_dist, max_dist))

地方的代码会回到全部的生成器,不过while不断得爆发新的生成器。

  • extend()方法是list的贰个主意,传入一个迭代器,然后将其插手到list中

咱俩一般那样用extend

>>> a = [1, 2]
>>> b = [3, 4]
>>> a.extend(b)
>>> print(a)
[1, 2, 3, 4]

在上头的代码中,传入了多少个生成器,那样做有多少个便宜

  1. 不必要读三次数据
  2. 字节点不用都设有内部存款和储蓄器中

上面的代码是实用的,因为python并不关怀传入的参数是或不是是二个list。它关切传入的是或不是多少个迭代器,所以strings,lists,tuples,generators都是足以看成参数传入的!那叫做鸭子类型,也是python如此受欢迎的缘由之一。

 

操纵生成器

>>> class Bank(): # let's create a bank, building ATMs
...     crisis = False
...     def create_atm(self):
...         while not self.crisis:
...             yield "$100"
>>> hsbc = Bank() # when everything's ok the ATM gives you as much as you want
>>> corner_street_atm = hsbc.create_atm()
>>> print(corner_street_atm.next())
$100
>>> print(corner_street_atm.next())
$100
>>> print([corner_street_atm.next() for cash in range(5)])
['$100', '$100', '$100', '$100', '$100']
>>> hsbc.crisis = True # crisis is coming, no more money!
>>> print(corner_street_atm.next())
<type 'exceptions.StopIteration'>
>>> wall_street_atm = hsbc.create_atm() # it's even true for new ATMs
>>> print(wall_street_atm.next())
<type 'exceptions.StopIteration'>
>>> hsbc.crisis = False # trouble is, even post-crisis the ATM remains empty
>>> print(corner_street_atm.next())
<type 'exceptions.StopIteration'>
>>> brand_new_atm = hsbc.create_atm() # build a new one to get back in business
>>> for cash in brand_new_atm:
...      print cash
$100
$100
$100
$100
$100
$100
$100
$100
$100
...

生成器能够做过多业务,上面代码体现了什么使用yield控制能源的拜访

 

Itertools-最佳的对象

itertools模块中有很多说了算生成器的法门。

看上边包车型地铁例子,看看四匹马尔默跑也许的逐条组合

>>> horses = [1, 2, 3, 4]
>>> races = itertools.permutations(horses)
>>> print(races)
<itertools.permutations object at 0xb754f1dc>
>>> print(list(itertools.permutations(horses)))
[(1, 2, 3, 4), 
(1, 2, 4, 3), 
(1, 3, 2, 4), 
(1, 3, 4, 2), 
(1, 4, 2, 3), 
(1, 4, 3, 2), 
(2, 1, 3, 4), 
(2, 1, 4, 3), 
(2, 3, 1, 4), 
(2, 3, 4, 1), 
(2, 4, 1, 3), 
(2, 4, 3, 1), 
(3, 1, 2, 4), 
(3, 1, 4, 2), 
(3, 2, 1, 4), 
(3, 2, 4, 1), 
(3, 4, 1, 2), 
(3, 4, 2, 1), 
(4, 1, 2, 3), 
(4, 1, 3, 2), 
(4, 2, 1, 3), 
(4, 2, 3, 1), 
(4, 3, 1, 2), 
(4, 3, 2, 1)]

yield是二个特有的return?

叩问生成器的完成机制

迭代意味着,调用可迭代对象的*iter()方法和迭代器的**next*()方法

分化的是实施进度中境遇yield关键字,会阻断,yield
再次来到的是2个生成器。

率先次迭代中你的函数会执行,从开头到达
yield 关键字,然后回到 yield 后的值作为第1次迭代的回来值.

接下来,每回执行这几个函数都会继续执行你在函数内部定义的尤其循环的下2次,再重回那多少个值,直到没有得以回来的。

 

留神,当函数中出现yield,该函数重临的正是三个生成器。不在是惯常函数。

def func(num):
    n,a,b = 0,0,1
    while num > n:
        yield b  #阻断,返回b
        a,b = b,a + b
        n+=1

for i in  func(19): #func(19)是一个生成器,生成器只有调用时执行一次。所以这里用循环
    print i

 

除却for循环取值,你也能够经过next()来取下三个值。

t = func(19)
t.next()

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图