后台日志与那几个处理,编写装饰器落成python请求错误重试作用

by admin on 2019年4月4日

在做接口自动化测试的时候,总会碰到,因连日超时等悖谬导致,接口脚本战败。

  1. __new__后台日志与那几个处理,编写装饰器落成python请求错误重试作用。.__init__差异,怎么样贯彻单例格局,有哪些长处
    __new__是二个静态方法,__init__是几个实例方法
    __new__回去3个成立的实例,__init__何以都不回去
    __new__回来贰个cls的实例时前边的__init__才能被调用
    当创造八个新实例时调用__new__,发轫化3个实例时调用__init__
  2. 浓度拷贝
    浅拷贝只是扩张了一个指南针指向一个存在的地方,而深拷贝是增添多少个指南针并且开发了新的内存,那个扩大的指针指向那些新的内部存储器,
    运用浅拷贝的情景,释放内部存款和储蓄器,会释放同1内部存款和储蓄器,深拷贝就不会并发释放同壹内部存款和储蓄器的谬误

Decorator是三个经典的结构式设计格局,有着不行普遍的利用。在经典的Design
Patterns:Elements of Reusable Object-Oriented
Software
中,它的意图被描述为:动态地为1个指标添加额外的权力和权利与功能。对于增加功能,装饰器提供了比子类化越发灵敏的替代方案。
在很多编制程序语言中,比如Python,在语法上就提供了装饰器的支持,能够透明地使用装饰器。而Java则比较繁琐一些,通过Decorator接口的各种落成,针对被decorate的组件接口的落到实处来装点。本文介绍一种基于annotation的decorator完结,就算不能落到实处如python1般的透明使用装饰器,在一些场景下,也是一种灵活的贯彻格局。

  后台权限和尾部框架的改建终于完结了,小白也好不简单得以放下紧悬着的心,能够轻松一下了。那不他为了多谢老菜,又找老菜聊了4起。

后台日志与那几个处理,编写装饰器落成python请求错误重试作用。合法给出的法子:

通过decorator实现refactor_test

笔者们想要通过装饰器达成那样的3个测试工具:大家再次达成了一个函数A,原函数是B。在调用函数A时,可以活动运转函数B,对两者的结果作比较,若是不对等,将近期的环境消息输出到日志中,以便追查。同时,不应现对函数的正规使用。
此间的函数,我们渴求是幂等的无副成效的
下列全体的代码在这里。

  小白:多谢老大的帮助,系统终于改造形成了,能够好好放松一下了。

max_retries=5 出错重试5次
注意的是,这个只对DNS,连接错误进行重试。

    from requests.adapters import HTTPAdapter
    s = requests.Session()
    s.mount('http://',HTTPAdapter(max_retries=5))
    s.mount('https://',HTTPAdapter(max_retries=5))
    s.get('https://www.baidu.com')
注意赋值和浅拷贝的区别
如l1 = ['a','b','c'] # 这段代码是是对l1 的初始化操作,开辟一个内存空间存储列表,l1 这个变量指向这个列表
l2 = l1 # 这属于赋值操作
# 如果更改l1,l2也会一起改变,因为两个变量指向的是同一个位置
import copy
浅拷贝:不管多么复杂的数据结构,浅拷贝都只会copy一层
copy.copy(...),在多层嵌套时可能会一个数据可改变可能会影响其他的数据.
深拷贝:深拷贝会完全复制原变量相关的所有数据,在内存中生成一套完全一样的内容,在这个过程中我们对这两个变量中的一个进行任意修改都不会影响其他变量.
深拷贝就是在内存中重新开辟一块空间,不管数据结构多么复杂,只要遇到可能发生改变的数据类型,就重新开辟一块内存空间把内容复制下来,直到最后一层,不再有复杂的数据类型,就保持其原引用。这样,不管数据结构多么的复杂,数据之间的修改都不会相互影响
copy.deepcopy(...)

Python的decorator

使用python能够卓殊自由地达成装饰器@refactor_test。代码如下(GitHub):

import functools
import logging

LOGGER = logging.getLogger('refactor_test')

def refactor_test(comp_func):
    def decorator(func):
        @functools.wraps(func)
        def wrapper(*args, **kws):
            comp_res = comp_func(*args, **kws)
            res = func(*args, **kws)
            if res != comp_res:
                message = "not equals for function:{} from {} 
                        with arguments:{}-{}".format(func.__name__, 
                                comp_func.__name__, args, kws)
                LOGGER.debug(message)
                print(message)
            return res
        return wrapper
    return decorator

def refactor_from(message):
    return message

@refactor_test(refactor_from)
def refactor_to0(message):
    return message

@refactor_test(refactor_from)
def refactor_to1(message):
    return "!" + message

if __name__ == '__main__':
    refactor_to0('Hello python!')
    refactor_to1('Hello python!')

那是卓殊经典的python
decorator达成,是一心透明的,调用者无需关怀到大家在调用时候实施了一个refacor_test的过程。refactor_to0是3个符合要求的重构完毕,而refactor_to1不是。

  老菜:呵呵,对于后台管理连串机能,你认为已经完工了呢?未有什么遗漏的吧?

 

  1. HTTP/IP相关心下一代组织商,分别位于哪层
    http协议是超文本传输协议,http协议是依据TCP/IP通讯协议来传递数据
    http协议工作与c/s架构上,浏览器作为http的客户端通过U揽胜L向http服务端即web服务器发送所用请求。web服务器收到全数请求后,向客户端发送响应消息,
    http特点是短连接,无状态
    地点栏键输入U帕杰罗L,按下回车之后经历了怎么?
    一.浏览器向DNS服务器请求解析该UXC60L中的域名所对应的IP地址
    2.解析出IP地址后,依据IP地址和私下认可端口80,和服务器建立TCP连接
    3.浏览器发出读取文件的http请求,该请求报文作为TCP二回握手的第多个报文的多寡发送给服务器
    bf88必发唯一官网,肆.服务器对浏览器请求做出响应,并把相应的html文件发送给浏览器
    5.释放TCP连接
    陆.浏览器将该HMTL渲染并出示内容

  2. TCP/UDP区别
    TCP协议是面向连接,保证高可信赖性(数据无遗失,数据无失序,数据无不当,数据无重复达到)传输层协议
    UDP:数据丢失,无秩序的传输层协议(qq基于udp协议)

  3. webscoket
    websocket是依照http协议的,可持续化连接
    轮询:浏览器每隔几秒就发送贰次呼吁,询问服务器是还是不是有新音信
    长轮询:客户端发起连接后,就算未有信息,就直接不回去response给客户端,直到有新闻重回,再次来到完之后,客户端再度发起连接

  4. RabbitMQ:
    劳务器端有Erlang语言来编排,支持多样客户端,只会ajax,用于分布式系统中贮存转载信息,在易用性、扩张性、高可用性的上边不俗。
    connection是RabbitMQ的socket连接,它包裹了socket部分连锁协议逻辑
    connectionFactroy为connection的创设工厂
    channel是大家与RabbitMQ打交道的最重大的三个接口,超过六一%的事体操作是在chaanel那几个接口中成就,包罗定义Queue、定义Exchange、
    绑定Queue与Exchange,发表消息等

  5. 装饰器
    调用装饰器其实是2个闭包函数,为任何函数添加附加功效,不修改被改动的源代码和不改动被修饰的措施,装饰器的再次回到值也是二个函数对象。
    比如说:插入日志、品质测试、事物处理、缓存、权限验证等,有了装饰器,就能够抽离出大批量与函数成效本身非亲非故的同样代码并一而再起用。

  6. 闭包
    壹.务必有贰个内嵌函数
    2.内嵌函数必须引用外部函数的变量(该函数包涵对外效率域而不是全局作用域名字的引用)
    3.外表函数的再次来到值必须是内嵌函数

  7. 迭代器与生成器
    迭代可迭代对象对应iter(方法)和迭代器对应next(方法)的3个进度
    生成器:包含含有yield那些至关主要字,生成器也是迭代器,调动next把函数变成迭代器。

  8. classmethod,staticmethod,property
    类格局:将类的函数转换到类方法,函数上装饰@classmethod会将函数的自行传值参数改成cls
    静态方法:此办法也正是给类扩张三个效益,将类内的函数实例化,给类或对象使用,此时类内的函数就是平凡函数,不管是类照旧实例化的靶子都足以运用
    实例化:类的实例化就会时有产生3个实例(对象),能够知道为类()把虚拟的东西实例化,获得具体存在的值

  9. 常用的状态码
    200–服务器成功再次来到网页
    204–请求收到,但回到音信为空
    304–客户端已经施行了GET,但文件未变更
    400–错误请求,如语法错误
    40三–无权力访问
    40四–请求的页面不设有
    500–服务器发生内部错误

  10. 多进程,多线程,协程,GIL
    GIL:全局解释器锁,是锁在cpython解释器上,导致同权且刻,同1进程只可以有2个线程被实践
    多进度:多进度模块multiprocessing来实现,cpu密集型,IO计算型能够用多进程
    二十拾2线程:10贰线程模块threading来落到实处,IO密集型,二拾十二线程可以升高成效
    协程:正视于geenlet,对于十二线程应用。cpu通过切片的章程来切换线程间的推行,遇到IO操作自动切换,线程切换时要求耗费时间,
    而协成好处未有切换的开销,未有锁定概念。
    经过:是能源管理单位,进行是相互独立的,达成产出和产出
    线程:是相当小的实施单位,线程的产出为了下跌上下文切换的损耗,提供系统的并发性

  11. IO多路复用/异步非阻塞
    IO多路复用:通过1种体制,能够监听五个描述符 select/poll/epoll
    select:连接数受限,查找配对进程慢,数据由基础拷贝到用户态
    poll:改革了连接数,不过依旧查找配对进度慢,数据由基础拷贝到用户态
    epoll:epoll是linux下多路复用IO接口,是select/poll的增强版,它能一目精晓拉长程序在大方涌出连接中唯有少量欢蹦乱跳的情事下的种类CPU利用率
    异步非阻塞:异步浮以往回调上,回调就是有新闻重回时告知一声儿经过展开始拍戏卖。非阻塞正是不等待,不须要经过等待下去,
    继续执行其余操作,不管其他进度的景色。

  12. PEP8规范,规范的好处是什么样?
    一.缩进:陆个空落成缩进,尽量不应用Tab
    2.行:没行最大尺寸不超过7玖,换行能够利用反斜杠
    三.命名正式:
    四.诠释规范:

  13. range-and-xrange
    都在循环时利用,xrange内部存款和储蓄器质量更好,xrange用法与range完全相同,range2个生成list对象,xrange是生成器

  14. with上下文机制原理
    enterexit,上下文物管理理协议,即with语句,为了让二个目的包容with语句,必须在那个指标类中声称enterexit方法,
    利用with语句的目标正是把代码块放入with中履行,with甘休后,自动实现清理工作,无须收到干预

  15. 经典类、新式类
    经典类服从:深度优先,python第22中学
    新式类坚守:广度优先,Python三中

  16. 有未有一个工具得以援助寻找Python的bug和展开静态的代码分析?
    PyChecker是叁个Python代码的静态分析工具,它能够辅协助调查找Python代码的bug,会对代码的复杂度和格式提议警告,
    Pylint是此外二个工具得以开展codingstandard检查

  17. Python是什么开展内部存款和储蓄器管理的

    • 目的引用计数:
      引用计数扩张的状态:
      来保证追踪内部存款和储蓄器中的靶子,全体指标都用引用计数,七个指标分配3个新名称将其放入一个容器中(列表,字典,元祖)引用计数收缩的图景:
      行使del语句对目的外号突显的销毁
      引用超出成效域或被再一次赋值
      sys.getrefcount()函数能够得到对象的近来援引计数
    • 标记-清除机制
    • 分代技术

Java实现

鉴于java语法的界定,不能够像动态语言python一样晶莹地为给定方法添加decorator。当然能够依据经典的筹划完成,如下图所示。
[图形上传失利…(image-伍dfcd6-15拾413037玖二三)]

对此咱们想要化解的难点,在python中,通过装饰器语法,在编码时,就钦赐了由重构后措施到重构前方法的照耀。而1旦根据守旧的法子完成,大家率先,需求爱护八个重构后的办法到重构以前方法的映射表,其余,大家不可能为每3个重构的主意都编写制定贰个装饰器方法,不够利索,过于繁琐。所以,大家要求动用java的反射机制,动态调用方法。第二点也是很麻烦的,可能写到配置文件,可能hard
code到代码里,都以极不佳的。大家经过java的annotation证明成效来落实。Oracle的官方tutorial中,有对java
annotations相比细致的求证。大家来探视哪些促成。

RefactorUtil.java
(GitHub):

import org.slf4j.Logger;

import java.lang.annotation.ElementType;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;
import java.lang.reflect.InvocationTargetException;
import java.lang.reflect.Method;
import java.util.AbstractMap;
import java.util.Map;

public class RefactorTestUtil {
    private static Logger LOGGER = null;

    public interface Equality <T, S> {
        public boolean isEqual(T obj0, S obj1);
    }

    public static void setLogger(Logger logger) {
        LOGGER = logger;
    }

    @Target( ElementType.METHOD )
    @Retention( RetentionPolicy.RUNTIME )
    public @interface RefactorTest {
        String classRef();
        String methodName();
        int[] paramClassIndex2ThisParams() default {};
    }

    private static void testFailLog(String message, Map.Entry<Class<?>, String> migTo, Map.Entry<Class<?>, String>
            migFrom, Object ... params) {
        String argsStr = null;
        if (params != null && params.length > 0) {
            StringBuilder args = new StringBuilder();
            for (Object param : params) {
                args.append(param).append(":").append(param.getClass().getSimpleName());
                args.append(",");
            }
            if (args.length() > 0) {
                argsStr = args.substring(0, args.length() - 1);
            }
            else {
                argsStr = args.toString();
            }
        }
        String logStr = String.format("[MigrationTest]%s-TO(%s)-FROM-(%s)-ARGS(%s)", message, migTo.toString(),
                migFrom.toString(), argsStr);

        if (LOGGER != null) {
            LOGGER.error(logStr);
        }
        else {
            System.err.println(logStr);
        }
    }

    public static <T> T decorateFunctionWithRefactorTest(Class<?> cls, String method, Object ... params) throws
            NoSuchMethodException, InvocationTargetException, IllegalAccessException {
        return decorateFunctionWithRefactorTest(cls, method, new Equality<T, Object>() {
            public boolean isEqual(T obj0, Object obj1) {
                return obj0.equals(obj1);
            }
        }, params);
    }

    public static <T, S> T decorateFunctionWithRefactorTest(Class<?> cls, String method, 
            Equality<T, S> equals, Object... params) throws NoSuchMethodException,   
            InvocationTargetException, IllegalAccessException {
        Method refactorTo = TypeUtil.getClassMethodWithNotAccurateTypedParams(cls, method,
                 params);
        if (refactorTo == null) {
            throw new NoSuchMethodException(String.format("There is no method %s in class 
                    %s", method, cls
                    .getSimpleName()));
        }

        T toResult = (T) refactorTo.invoke(null, params);

        RefactorTest refactorAnno = refactorTo.getAnnotation(RefactorTest.class);
        String refactorFromCls =  refactorAnno.classRef();
        String refactorFromMethod = refactorAnno.methodName();
        int[] paramClassesIndex = refactorAnno.paramClassIndex2ThisParams();

        try {
            Class<?> refactorFromClass = ClassLoader.getSystemClassLoader()
                    .loadClass(refactorFromCls);


            Object[] fromParams = null;
            if (paramClassesIndex != null && paramClassesIndex.length > 0) {
                fromParams = new Object[paramClassesIndex.length];
                for (int i = 0; i < paramClassesIndex.length; i ++) {
                    fromParams[i] = params[paramClassesIndex[i]];
                }
            }
            else {
                fromParams = params;
            }

            Method refactorFrom = TypeUtil.getClassMethodWithNotAccurateTypedParams
                    (refactorFromClass, refactorFromMethod,
                    fromParams);
            if (refactorFrom == null) {
                testFailLog("No refactor-from method found", new AbstractMap.
                        SimpleEntry<Class<?>, String>(cls, method)
                        , new AbstractMap.SimpleEntry<Class<?>,String>
                        (refactorFromClass, refactorFromMethod), params);
                return toResult;
            }

            S fromResult = (S) refactorFrom.invoke(null, fromParams);

            if (! equals.isEqual(toResult, fromResult)) {
                testFailLog("Not equal after refactoring", new AbstractMap.SimpleEntry
                        <Class<?>, String>(cls, method)
                        , new AbstractMap.SimpleEntry<Class<?>, String>
                        (refactorFromClass, refactorFromMethod), params);
            }


        } catch (ClassNotFoundException e) {
            testFailLog("No refactor-from Class found", new AbstractMap.SimpleEntry
                    <Class<?>, String>(cls, method), new AbstractMap.SimpleEntry<Class<?>,  
                    String>(null, refactorFromMethod), params);

        } finally {
            return toResult;
        }
    }
}

RefactorTestUtil.decorateFunctionWithRefactorTest()方法通过传播对应类与艺术名,还有参数列表,通过RefactorTest申明获取该方法对应重构前方法,动态比较一遍调用的结果是或不是同样,决定是或不是计入日志。
@interface
RefactorTest是三个诠释的宣示,再待评释的法门前添加@RefactorTest(…),通过多个本性classRef,methodName,paramClassIndex二ThisParams来给定重构前方法及调用参数的不对齐难题。
透过注脚和反光我们落到实处了那么些功效,而鉴于java反射的限制,对于参数列表的体系不是办法签名中参数列表的品类完全匹配不可能找到分明的诀要,小编实现了TypeUtil,提供了简便的动态机制,找到呼应措施。比如size(Collection)方法,再扩散三个Set时,仅仅经过java的反射API,不可能找到size(Collection)方法。

TypeUtil.java(GitHub):

import java.lang.reflect.Method;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;

public class TypeUtil {
    public static boolean isMatchedBoxingType(Class<?> cls0, Class<?> cls1) {
        if (cls0 == null || cls1 == null) {
            return false;
        }
        if (! cls0.isPrimitive() && ! cls1.isPrimitive()) {
            return cls0.equals(cls1);
        }
        if (cls0.isPrimitive() && cls1.isPrimitive()) {
            return cls0.equals(cls1);
        }

        Class<?> primitive = cls0.isPrimitive() ? cls0 : cls1, boxing = cls1.isPrimitive() ? cls0 : cls1;

        if (primitive.equals(int.class)) {
            return boxing.equals(Integer.class);
        }
        if (primitive.equals(short.class)) {
            return boxing.equals(Short.class);
        }
        if (primitive.equals(float.class)) {
            return boxing.equals(Float.class);
        }
        if (primitive.equals(double.class)) {
            return boxing.equals(Double.class);
        }
        if (primitive.equals(boolean.class)) {
            return boxing.equals(Boolean.class);
        }
        if (primitive.equals(long.class)) {
            return boxing.equals(Long.class);
        }
        if (primitive.equals(char.class)) {
            return boxing.equals(Character.class);
        }
        if (primitive.equals(byte.class)) {
            return boxing.equals(Byte.class);
        }
        return false;
    }

    private static boolean isSubClassOf(Class<?> subCls, Class<?> superCls) {
        if (subCls == null || superCls == null) {
            return false;
        }
        if (superCls.equals(Object.class)) {
            return true;
        }
        if (superCls.isInterface() && ! subCls.isInterface()) {
            for (Class<?> interf : subCls.getInterfaces()) {
                if (interf.equals(superCls)) {
                    return true;
                }
            }
            return false;
        }
        Class<?> cls = subCls;
        for (; cls != null && ! cls.equals(superCls); cls = cls.getSuperclass());
        return cls != null;
    }

    public static Method getClassMethodWithNotAccurateTypedParams(Class<?> cls, String methodName, Object ...
            params) {
        if (cls == null || methodName == null) {
            return null;
        }

        Class<?>[] paramClasses = new Class<?>[params.length];
        int i = 0;
        for (Object param : params) {
            paramClasses[i++] = param.getClass();
        }

        Method method = null;
        try {
            method = cls.getMethod(methodName, paramClasses);
        } catch (NoSuchMethodException e) {
            Method[] methods = cls.getMethods();

            List<Method> capableMethods = new ArrayList<Method>();
            for (Method candidateMethod : methods) {
                if (! candidateMethod.getName().equals(methodName)) {
                    continue;
                }
                if (! candidateMethod.isVarArgs() && candidateMethod.getParameterTypes().length != params.length) {
                    continue;
                }

                Class<?>[] methodParamClasses = candidateMethod.getParameterTypes();
                boolean found = true;
                for (int j = 0; j < methodParamClasses.length; j ++) {
                    Class<?> methodParamClass = methodParamClasses[j];
                    if(! TypeUtil.isInstanceOf(methodParamClass, params[j])) {
                        found = false;
                        break;
                    }
                }

                if (found) {
                    capableMethods.add(candidateMethod);
                }
            }

            if (capableMethods.size() == 1) {
                method = capableMethods.get(0);
            }
            else if (capableMethods.size() > 1) {
                for (int pi = 0; pi < params.length; pi ++) {
                    Class<?> bottom = Object.class;
                    int mindex = 0;
                    int bottomCount = 0;
                    for (int mi = 0; mi < capableMethods.size(); mi ++) {
                        Method m = capableMethods.get(mi);
                        Class<?> pclass = m.getParameterTypes()[pi];
                        if (pclass.equals(bottom) || isMatchedBoxingType(pclass, bottom)) {
                            bottomCount ++;
                            continue;
                        }
                        if (isSubClassOf(pclass, bottom)) {
                            bottom = pclass;
                            mindex = mi;
                            bottomCount = 1;
                        }
                    }
                    if (bottomCount < capableMethods.size() && bottomCount > 0) {
                        method = capableMethods.get(mindex);
                        break;
                    }
                }
            }
        }
        return method;
    }

    public static boolean isInstanceOf(Class<?> cls, Object instance) {
        if (cls == null) {
            return false;
        }

        if (instance == null) {
            return true;
        }

        if (cls.isPrimitive()) {
            Class<?> insType = instance.getClass();
            return isMatchedBoxingType(cls, insType);
        }
        else if (cls.isArray()) {
            Class<?> insType = instance.getClass();
            if (! insType.isArray()) {
                return false;
            }
            Class<?> cls0 = cls.getComponentType(), cls1 = insType.getComponentType();
            if (isMatchedBoxingType(cls0, cls1)) {
                return true;
            }
        }
        return cls.isInstance(instance);
    }
}

比如我们有四个法子:

public class Util {
    public static String refactorFrom(String message, int time) {
        return message + "(" + time + ")";
    }

    @RefactorTestUtil.RefactorTest(
        classRef = "Util",
        methodName = "refactorFrom"
    )
    public static String refactorTo0(String message, int time) {
        return message + "(" + time + ")";
    }

    @RefactorTestUtil.RefactorTest(
        classRef = "Util",
        methodName = "refactorFrom",
        paramClassIndex2ThisParams = {1, 0}
    )
    public static String refactorTo1(int time, String message) {
        return message + "(" + time + ")";
    }

    @RefactorTestUtil.RefactorTest(
        classRef = "Util",
        methodName = "refactorFrom"
    )
    public static String refactorTo2(String message, int time) {
        return message + "[" + time + "]";
    }

refactorTo0, refactorTo一,
refactorTo二都是重构自refactorFrom。个中refactorTo一更换了参数类型的顺序,使用了paramClassIndex二ThisParams参数。而refactorTo二是一个会被报告错误的重构函数。大家做如下的测试:

public RefactorTestUtilTest {
    @Test
    public void testDecorateFunctionWithRefactorTest() {
        String message = "OK";
        int time = 3;

        assertEquals(message + "(" + time + ")", RefactorUtil.
                decorateFunctionWithRefactorTest(Util.class, "refactorTo0", message, time);
        assertEquals(message + "(" + time + ")", RefactorUtil.
                decorateFunctionWithRefactorTest(Util.class, "refactorTo1", time, message);
        assertEquals(message + "[" + time + "]", RefactorUtil.
                decorateFunctionWithRefactorTest(Util.class, "refactorTo2", message, time);
    }
}

那样,通过java的annotations,大家完成了壹种特定须要的decorator设计情势,但是出于语言特征与语法,不能落到实处python1样的透明使用。

  小白:啊……权限管理形成后不就完了吧?还有意义要弄的吧?

 

20、什么是python?使用python有何样好处?
python是一种编制程序语言,它有目的、模块、线程、非凡处理和电动内部存款和储蓄器管理。它简洁,不难、方便、不难扩充、有过多自带的数目结果,而且它开源

  老菜:万一光从利用角度来说,也说不定说成功了,但还有局地细节还必要处理的,比如说日志和越发。

自编写装饰器1

  1. 什么是pickling和unpickling?
    Pickle模块读入任何python对象,将它们转换来字符串,然后使用dump函数将其转储到三个文书中——那几个进度叫做pickling
    反之从存款和储蓄的字符串文件中提取原始python对象的经过,叫做unpickling

  2. python是怎么被分解的?
    Python是1种解释性语言,它的源代码能够一贯运维,Python解释器会将源代码转换来人中学间语言,之后再翻译成机器码再实践

  3. 数组和元祖之间的分别是怎么样?
    数组和元祖之间的差异:数组内容能够被改动,而元祖内容是只读的,不可被改动的,别的元祖能够被哈希,比如作为字典的key

  4. 参数按值传递和引用传递是怎么落到实处的?
    python中的一切都以类,全部的变量都是一个指标的引用。引用的值是由函数明确的,因而不可能被改动,不过如若3个指标是足以被修改的,你能够转移对象
    python中对二个函数能够传递参数,可是怎样识别是值传递依然引用传递,不是程序员手动控制的,而是python依据你传入的数目对象,自动识别的。
    要是你传入的参数对象是可变对象:列表,字典,这一年正是援引传递,假使参数在函数体内被改动,那么源对象也会被涂改。
    只要你传入的参数对象是不可变的对象:数字,元组,字符串,今年正是值传递。那么源对象是不会转移的,

  5. Python都有啥样自带的数据结构?
    Python自带的数据结构分为可变和不可变的:可变的有:数组、集合、字典,不可变的是:字符串、元祖、整数

  6. 何以是python的命名空间?
    在python中,全数的名字都留存于1个空间中,它们在改空间中留存和被操作——那正是命名空间,它就类似1个盒子,在每种变量名字都对应装着一个对象,当查问变量的时候,会从该盒子里面寻找对应的靶子

  7. python中的unittest是什么?
    在python中,unittest是python中的单元测试框架,它具备协助共享搭建、自动测试、在测试中间断代码、将区别测试迭代成一组

  8. args与*kwargs
    *args代表义务参数,它会接收任意三个参数并把那些参数作为元祖传递给函数。
    **kwargs代表的基本点字参数,重临的是字典,地点参数一定要放在主要字前面

  9. 在Python中什么是slicing?切片
    slicing是一种在静止的指标类型中(数组、元祖、字符串)节选某1段的语法

  10. python中的docstring是什么?
    Python中文档字符串被称呼docstring
    简短来说,正是现身在模块、函数、类、方法里第一个语句的,正是docstring。会自动成为属性__doc__

  11. os与sys区别:
    os是模块负责程序与操作系统的互相,提供了拜访操作系统底层的接口
    sys模块是肩负程序与python解释器的互动,提供了1多如牛毛的函数和变量,用于操控Python时运营的环境
    32、达成一个单例方式
    __new__()__init__()此前被调用,用于转移实例对象。利用这几个办法和类的属性的表征能够兑现设计情势的单例方式。
    单例方式是指创造唯一指标,单例情势设计的类只可以实例,实例化二个指标

  小白:日前不是做过日志处理了,将持有的老大都自动写到日志中,方便开发职员分析查看,还是能够半自动发送万分文告邮件,别的对于客户端提交的持有数据,在bottle勾子那里也做了处理,都写入到日志中了,还有啥要处理的?

from requests.exceptions import ConnectionError
import requests
def retry(**kw):
    def war(func):
        def w(*args,**kwargs):
            try:
                ret = func(*args,**kwargs)
            except ConnectionError:
                kw['reNum'] = int(kw['reNum']) - 1
                if kw['reNum'] >=0:
                    print kw['reNum']
                    ret = w(*args,**kwargs)
                else:
                    ret = ConnectionError
            return ret
        return w
    return war

  老菜:对此日记来说能够分成两块:

 

  一是管理员的操作日志,因为后台管理操作涉及到数量安全,管理员的具备操作都亟待记录下来,以便产生难点时得以找到关系人,同时有个别事情系统提交相关人口运用之后,BOSS却不知道她们毕竟有没有记名使用,每一日在系统做什么样;

自编写装饰器二

  二是系统的分外和根本数据的记录,那几个属于系统底层的日记,将有着尤其和与钱财有关的操作音讯全体记录下来,有故障时开发人士能够依照日志神速稳定,及时修复难点。那上头我们前面早已做1些了,在日前底层很多地方都做了try…except…处理,那是很要求的,但您有未有觉察,大家的代码在本地平常运转的非凡的,而将代码更新上服务器后即平日爆500错误却不知道,想要排查万分时也很不便利,但查阅uwsgi等多个系统日志才行,某些尤其你查来查去都查不出来,十分浪费时间,你通晓那个特别首借使由哪些引起的啊?有未有想过用如何艺术也得以完毕实时通过推送通告驾驭这么些不当呢?当然对于特别的产生是很难防止的,可是大家得以由此1些手腕,让那一个尤其发生后即时通过邮件或微信等办法,将非常详情布告大家,然后急速修复难题。即使你对系统格外纯熟的话,有十分的大可能率用户还没影响过来,十几秒你就将故障修复了,做到人不知鬼不觉,哈哈。

from requests.exceptions import ConnectionError

def retry(**kw):
    def wrapper(func):
        def _wrapper(*args,**kwargs):
            raise_ex = None
            for _ in range(kw['reNum']):
                print _
                try:
                    return func(*args,**kwargs)
                except ConnectionError as ex:
                    raise_ex = ex
            #raise raise_ex
        return _wrapper
    return wrapper

  小白:是呀,相当难点是自小编最大痛的事务,很多时候显然本地调节和测试的杰出的,一到服务就挂了,找到找去也找不出难题所在,浪费了大量的年月。那么大家要怎么来开始展览改造呢?

 

  老菜:接下去你看本身教学就精晓了,首借使对已有代码举办改动。

应用办法:reNum = 五代表,出现ConnectionError时最多可重试6遍。

  在前边的数据结构划设想计时,大家有三个管理员操作日志表,接下去的改造重点是对那几个表进行有关的操作。

@retry(reNum=5)
def demo():
    raise ConnectionError

  首先我们须要创造这几个日志表的逻辑类,由于我们的OPAJEROM是用字典来拓展增改操作的,所以须求先组合字段字典,然后再实行相应的方法,为了让操作简化,大家须要在日记表逻辑类中添加1个主意,通过传参的办法来展开日志的充足操作,那样就可避防去大家结合字典的操作了。

 

 1 #!/usr/bin/env python 2 # coding=utf-8 3  4 from logic import _logic_base 5 from common.string_helper import string 6 from config import db_config 7  8  9 class ManagerOperationLogLogic(_logic_base.LogicBase):10     """管理员操作日志管理表逻辑类"""11 12     def __init__:13         # 表名称14         self.__table_name = 'manager_operation_log'15         # 初始化16         _logic_base.LogicBase.__init__(self, db_config.DB, db_config.IS_OUTPUT_SQL, self.__table_name)17 18 19     def add_operation_log(self, manager_id, manager_name, ip, remark):20         """记录用户登录日志"""21         # 组合要更新的字段内容22         fields = {'manager_id':manager_id, 'manager_name':string(manager_name), 'ip':string, 'remark':string}23         # 新增记录24         self.add_model

总结:

  从代码中得以看到,add_operation_log()方法,它事实上正是快要更新到数据库的参数字传送进来,在措施里组合成字典,然后调用add_model()举行更新操作,调用时用上面代码就可以了

1.编辑装饰器,其实并未有那么难,只要精晓方法。
那几个能够参考,小编事先写的有关装饰器的小说

_manager_operation_log_logic.add_operation_log(manager_id, manager_name, ip, '登陆成功')

2.装饰器的通熟解释,正是在函数从前后之后做点什么。通过那个大家得以做过多。

  实现那一个操作日志逻辑类和日志添加措施之后,要改造登录接口就不难多了,只必要在阴差阳错和成功时开始展览调用,记录到数据表就能够了,具体看代码。

三.关于请求连接错误,重试,装饰器;原理便是做三个循环往复,只要捕获到有ConnectionError
错误,就进去下三回巡回

  登录接口除了必要丰盛日志记录以外,还索要处理八个安然无恙题材,我们从没对反复出口密码错误进行处理,假若有人想要登录系统写个密码劳举器,或者很简单后台就给人砍下了,所以大家须求对那个做三个范围,比如说同一ip在钦赐时间内只好出错多少次,每一次出错开上下班时间都记录一下弄错次数,当出错次数超出限制时,则不容用户登录。具体活动查看代码,那里自身就不再详细表明了。

调用;只要有不易的时候,直接重临函数。

bf88必发唯一官网 1bf88必发唯一官网 2

 

  1 #!/usr/bin/env python  2 # coding=utf-8  3   4 from bottle import put  5 from common import web_helper, encrypt_helper, security_helper  6 from common.string_helper import string  7 from logic import manager_logic, manager_operation_log_logic  8   9  10 @put('/api/login/') 11 def post_login(): 12     """用户登陆验证""" 13     ############################################################## 14     # 获取并验证客户端提交的参数 15     ############################################################## 16     username = web_helper.get_form('username', '帐号') 17     password = web_helper.get_form('password', '密码') 18     verify = web_helper.get_form('verify', '验证码') 19     ip = web_helper.get_ip() 20  21     ############################################################## 22     # 从session中读取验证码信息 23     ############################################################## 24     s = web_helper.get_session() 25     verify_code = s.get('verify_code') 26     # 删除session中的验证码(验证码每提交一次就失效) 27     if 'verify_code' in s: 28         del s['verify_code'] 29         s.save() 30     # 判断用户提交的验证码和存储在session中的验证码是否相同 31     if verify.upper() != verify_code: 32         return web_helper.return_msg(-1, '验证码错误') 33  34     ############################################################## 35     ### 判断用户登录失败次数,超出次做登录限制 ### 36     # 获取管理员登录密码错误限制次数,0=无限制,x次/小时 37     limit_login_count = 10 38     # 获取操作出错限制值 39     is_ok, msg, operation_times_key, error_count = security_helper.check_operation_times('login_error_count', limit_login_count, False) 40     # 判断操作的出错次数是否已超出了限制 41     if not is_ok: 42         return web_helper.return_msg(-1, msg) 43  44     ############################################################## 45     ### 获取登录用户记录,并进行登录验证 ### 46     ############################################################## 47     # 初始化操作日志记录类 48     _manager_operation_log_logic = manager_operation_log_logic.ManagerOperationLogLogic() 49     # 初始化管理员逻辑类 50     _manager_logic = manager_logic.ManagerLogic() 51     # 从数据库中读取用户信息 52     manager_result = _manager_logic.get_model_for_cache_of_where('login_name=' + string) 53     # 判断用户记录是否存在 54     if not manager_result: 55         return web_helper.return_msg(-1, '账户不存在') 56  57     # 获取管理员id 58     manager_id =  manager_result.get('id', 0) 59     # 获取管理员姓名 60     manager_name = manager_result.get('name', '') 61  62     ############################################################## 63     ### 验证用户登录密码与状态 ### 64     ############################################################## 65     # 对客户端提交上来的验证进行md5加密将转为大写(为了密码的保密性,这里进行双重md5加密,加密时从第一次加密后的密串中提取一段字符串出来进行再次加密,提取的串大家可以自由设定) 66     # pwd = encrypt_helper.md5(encrypt_helper.md5[1:30]).upper() 67     # 对客户端提交上来的验证进行md5加密将转为大写 68     pwd = encrypt_helper.md5.upper() 69     # 检查登录密码输入是否正确 70     if pwd != manager_result.get('login_password').upper(): 71         # 记录出错次数 72         security_helper.add_operation_times(operation_times_key) 73         # 记录日志 74         _manager_operation_log_logic.add_operation_log(manager_id, manager_name, ip, '【' + manager_name + '】输入的登录密码错误') 75         return web_helper.return_msg(-1, '密码错误') 76     # 检查该账号虽否禁用了 77     if not manager_result.get('is_enabled'): 78         # 记录出错次数 79         security_helper.add_operation_times(operation_times_key) 80         # 记录日志 81         _manager_operation_log_logic.add_operation_log(manager_id, manager_name, ip, '【' + manager_name + '】账号已被禁用,不能登录系统') 82         return web_helper.return_msg(-1, '账号已被禁用') 83  84     # 登录成功,清除登录错误记录 85     security_helper.del_operation_times(operation_times_key) 86  87     ############################################################## 88     ### 把用户信息保存到session中 ### 89     ############################################################## 90     manager_id = manager_result.get('id') 91     s['id'] = manager_id 92     s['login_name'] = username 93     s['name'] = manager_result.get('name') 94     s['positions_id'] = manager_result.get('positions_id') 95     s.save() 96  97     ############################################################## 98     ### 更新用户信息到数据库 ### 99     ##############################################################100     # 更新当前管理员最后登录时间、Ip与登录次数(字段说明,请看数据字典)101     fields = {102         'last_login_time': 'now()',103         'last_login_ip': string,104         'login_count': 'login_count+1',105     }106     # 写入数据库107     _manager_logic.edit_model(manager_id, fields)108     # 记录日志109     _manager_operation_log_logic.add_operation_log(manager_id, manager_name, ip, '【' + manager_name + '】登陆成功')110 111     return web_helper.return_msg(0, '登录成功')

qq技术交换群,期待你的进入:

View Code

python|测试|技术沟通群:5632278九四

  security_helper.py代码

python|测试|技术调换群:5632278玖肆

bf88必发唯一官网 3bf88必发唯一官网 4

python|测试|技术交换群:5632278玖肆

 1 #!/usr/bin/env python 2 # coding=utf-8 3  4 from common import cache_helper, convert_helper, encrypt_helper 5  6  7 def check_operation_times(operation_name, limiting_frequency, ip, is_add=True): 8     """ 9     检查操作次数10     参数:11     operation_name      操作名称12     limiting_frequency  限制次数13     is_add              是否累加14     返回参数:15     True    不限制16     False   限制操作17     """18     if not operation_name or limiting_frequency is None:19         return False, '参数错误,错误码:-400-001,请与管理员联系', '', 020 21     # 如果限制次数为0时,默认不限制操作22     if limiting_frequency <= 0:23         return True, '', '', 024 25     ##############################################################26     ### 判断用户操作次数,超出次数限制执行 ###27     # 获取当前用户已记录操作次数28     operation_times_key = operation_name + '_' + encrypt_helper.md5(operation_name + ip)29     operation_times = convert_helper.to_int0(cache_helper.get(operation_times_key))30 31     # 如果系统限制了出错次数,且当前用户已超出限制,则返回错误32     if limiting_frequency and operation_times >= limiting_frequency:33         return False, '您在10分钟内连续操作次数达到' + str(limiting_frequency) + '次,已超出限制,请稍候再试', operation_times_key, operation_times34 35     if is_add:36         # 记录操作次数,默认在缓存中存储10分钟37         cache_helper.set(operation_times_key, operation_times + 1, 600)38 39     return True, '', operation_times_key, operation_times40 41 42 def add_operation_times(operation_times_key):43     """44     累加操作次数45     参数:46     operation_times_key 缓存key47     """48     # 获取当前用户已记录操作次数49     get_operation_times = convert_helper.to_int0(cache_helper.get(operation_times_key))50     # 记录获取次数51     cache_helper.set(operation_times_key, get_operation_times + 1, 600)52 53 54 def del_operation_times(operation_times_key):55     """56     清除操作次数57     参数:58     operation_times_key 缓存key59     """60     # 记录获取次数61     cache_helper.delete(operation_times_key)62 63 64 def check_login_power(id, k, t, sessionid):65     """66     检查拨号小信接口,验证用户是否有权限访问67     :param id: 用户id68     :param k:  32位长度的密钥串69     :param t:  时间戳70     :param sessionid: 当前用户的密钥71     :return: False=验证失败,True=验证成功72     """73     if not sessionid:74         return False75 76     return encrypt_helper.md5 + sessionid + str + sessionid + str == k

 

View Code

  想要记录用户的每四个操作记录,有三种方法,1是在各类接口那里丰硕日志记录,那样可以更详实的编辑自定义日志表达,也就这样做的话工作量会比较大,也简单在复制粘贴中失误;还有正是,每一个后台接口都会调用权限判断格局,大家也能够在这一个办法中央直机关接助长日志记录,缺点就是每一个访问操作想要表达的很仔细很难完毕,那里我们通过各类判断与构成格局,来写入对应的接口日志访问记录,难免会现身记录重复或记录作证不正确的情形。

  下边是后台权限检查措施(_common_logic.py)

 1 #!/usr/bin/env python 2 # coding=utf-8 3  4 from bottle import request 5 from common import web_helper, string_helper 6 from logic import menu_info_logic, positions_logic, manager_operation_log_logic 7  8 def check_user_power(): 9     """检查当前用户是否有访问当前接口的权限"""10     # 读取session11     session = web_helper.get_session()12     # session不存在则表示登录失效了13     if not session:14         web_helper.return_raise(web_helper.return_msg(-404, "您的登录已失效,请重新登录"))15 16     # 获取当前页面原始路由17     rule = request.route.rule18     # 获取当前访问接口方式(get/post/put/delete)19     method = request.method.lower()20     # 获取当前访问的url地址21     url = string_helper.filter_str(request.url, '<|>|%|\'')22 23     # 初始化日志相关变量24     _manager_operation_log_logic = manager_operation_log_logic.ManagerOperationLogLogic()25     ip = web_helper.get_ip()26     manager_id = session.get('id')27     manager_name = session.get('name')28     # 设置访问日志信息29     if method == 'get':30         method_name = '访问'31     else:32         method_name = '进行'33 34     # 获取来路url35     http_referer = request.environ.get('HTTP_REFERER')36     if http_referer:37         # 提取页面url地址38         index = http_referer.find('?')39         if index == -1:40             web_name = http_referer[http_referer.find('/', 8) + 1:]41         else:42             web_name = http_referer[http_referer.find('/', 8) + 1: index]43     else:44         web_name = ''45 46     # 组合当前接口访问的缓存key值47     key = web_name + method + '(' + rule + ')'48     # 从菜单权限缓存中读取对应的菜单实体49     _menu_info_logic = menu_info_logic.MenuInfoLogic()50     model = _menu_info_logic.get_model_for_url51     if not model:52         # 添加访问失败日志53         _manager_operation_log_logic.add_operation_log(manager_id, manager_name, ip, '用户访问[%s]接口地址时,检测没有操作权限' % 54         web_helper.return_raise(web_helper.return_msg(-1, "您没有访问权限1" + key))55 56     # 初始化菜单名称57     menu_name = model.get('name')58     if model.get('parent_id') > 0:59         # 读取父级菜单实体60         parent_model = _menu_info_logic.get_model_for_cache(model.get('parent_id'))61         if parent_model:62             menu_name = parent_model.get('name').replace('列表', '').replace('管理', '') + menu_name63 64     # 从session中获取当前用户登录时所存储的职位id65     positions = positions_logic.PositionsLogic()66     page_power = positions.get_page_power(session.get('positions_id'))67     # 从菜单实体中提取菜单id,与职位权限进行比较,判断当前用户是否拥有访问该接口的权限68     if page_power.find(',' + str(model.get('id', -1)) + ',') == -1:69         # 添加访问失败日志70         _manager_operation_log_logic.add_operation_log(manager_id, manager_name, ip, '用户%s[%s]操作检测没有权限' % (method_name, menu_name))71         web_helper.return_raise(web_helper.return_msg(-1, "您没有访问权限2"))72 73     if not (method == 'get' and model.get('name') in ('添加', '编辑')):74         # 添加访问日志75         _manager_operation_log_logic.add_operation_log(manager_id, manager_name, ip, '用户%s[%s]操作' % (method_name, menu_name))

  那里记录的日志与菜单管理记录相关,假诺菜单项的命名或树列表不三不四,则记录的日志或许就会偏向相比较大。当然假设您有网瘾追求完美的话,可自动对它实行改建。比如说在菜单管理中添加1个字段,用来编排日志表达的,访问这么些页面时直接将注解更新到操作日志表中就足以了,简单方便。而假如对操作内容想要更仔细的,也得以在日志表中添加二个字段,将客户端提交的参数全体写入到字段里记录,那样对用户的操作就会更清晰了,当然要是用户更新消息或文章类内容时,字段值也会比较大。大家能够依照须求来拓展相应改造。

  下图为操作日志表记录内容

bf88必发唯一官网 5

  后台管理还亟需做个日志查看的页面,接口代码很简单,具体间接看源码,那里也不详细表明了

bf88必发唯一官网 6

  对于充足处理,大家实在都领会使用try…except…进行捕捉,然后记录卓殊音讯或作对应处理。

  而在接口发生500漏洞非常多时,由于程序在劳务器端执行,服务器环境与地点的支付环境有所不一样,就很难直观的判定是何许来头引起的,大概是少上传了有些调用文件,也恐怕是新引用的包没有设置,又只怕是代码中写错了代码,也有非常的大希望是变量为空引起的不胜,反正恐怕情状万分之多,当接口相当多时,这几个至极通过很隐蔽,唯有等到该接口被调用时才能窥见,如若拍卖不佳,开发人士或然会费用不少日子在那地方。

  当然也有点子是,全数的接口代码都坐落try…except…里面实践,那样发生500的情形会大大减少,但代码看起来层级多了也不雅观。对于那种总结重复统一的代码,python有2个充足好用的工具,这正是装饰器,大家能够编写制定一个装饰器方法给接口使用,从而达成大家想要的目标。

  装饰器达成的法则就是,通过在函数底部引用装饰器,从而使程序执行代码时,先实施装饰器里面包车型地铁代码,然后再调用引用装饰器的函数,最终再再次回到装饰器执行剩下的代码。简单的驾驭便是,原有A函数和装饰器B函数,当A函数引用装饰器B函数今后,A函数实际就改为B函数中被调用的3个办法,即B函数在履行进度中会调用A函数,执行到位A函数后回去想要的结果再继续执行后边的代码

  先上代码,大家在分外操作包中(except_helper.py),添加上边方法:

 1 def exception_handling: 2     """接口异常处理装饰器""" 3     def wrapper(*args, **kwargs): 4         try: 5             # 执行接口方法 6             return func(*args, **kwargs) 7         except Exception as e: 8             # 捕捉异常,如果是中断无返回类型操作,则再执行一次 9             if isinstance(e, HTTPResponse):10                 func(*args, **kwargs)11             # 否则写入异常日志,并返回错误提示12             else:13                 log_helper.error(str14                 return web_helper.return_msg(-1, "操作失败")15     return wrapper

  func正是流入到装饰器方法中的其余办法,由于我们的装饰器是给接口使用,所以进行进程中央直机关接再次回到结果,由于我们的代码在推行进程,有时会调用raise来刹车代码执行,这样的话接口方法是不曾再次来到值的,要是采纳return来调用方法就会出现很是,所以在第八到10行,会调用方法重新履行一回接口方法,所以在开发时要留心,唯有对那二个出错开上下班时间须求马上刹车的地点,才使用raise那样保险再也执行接口方法不会导致数据失实。

  当接口方法执行出现卓殊要抛出500时,那个装饰器就会捕捉到,然后通过调用log_helper.error()方法,将相当写入日志,并发送至极通告邮件文告开发职员。对于那么些文告,假如您注册了微信公司号,你能够编写对应的代码与公司号举办联网,让您和血脉相通人口在微信上能够实时收到到万分推送音讯,方便即时发现难题然后处理难题。

  上面是调用方法:

 1 @get('/api/system/department/<id:int>/') 2 @exception_handling 3 def callback: 4     """ 5     获取指定记录 6     """ 7     # 检查用户权限 8     _common_logic.check_user_power() 9 10     _department_logic = department_logic.DepartmentLogic()11     # 读取记录12     result = _department_logic.get_model_for_cache13     if result:14         return web_helper.return_msg(0, '成功', result)15     else:16         return web_helper.return_msg(-1, "查询失败")

  只必要在接口路由和接口方法之间,添加@exception_handling就足以兑现接口500时,接收分外邮件推送了。卓殊便宜好用。

  本文对应的源码下载

版权评释:本文原创发表于今日头条,作者为AllEmpty本文欢迎转发,但未经小编同意必须保留此段证明,且在篇章页面明显地点给出最初的作品连接,不然就是侵权。

python开发QQ群:66905847五、7334663二一作者博客:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图