避免Python中的递归调用问题:如何正确使用__getattr__和__setattr__方法

递归调用是指一个函数或方法在执行的过程中,直接或间接地调用了自身,从而形成了无限循环的调用关系,导致程序崩溃或陷入死循环。在 Python 中,由于方法和属性的调用方式不同,很容易出现递归调用的问题,特别是在使用 __setattr__ 和 __getattr__ 等特殊方法时。

递归调用是指一个函数或方法在执行的过程中,直接或间接地调用了自身,从而形成了无限循环的调用关系,导致程序崩溃或陷入死循环。在 Python 中,由于方法和属性的调用方式不同,很容易出现递归调用的问题,特别是在使用 __setattr__ 和 __getattr__ 等特殊方法时。

RecursionError: maximum recursion depth exceeded 

在相关开发的项目中,为了便于数据库和业务的交互,定义了一些Model来处理任务,为了简便完成Model的开发,采用了 __setattr__ 和 __getattr__ ,但却因此产生了递归调用的问题。以下是出错的代码:

class Person(object):
    def __init__(self, *args, **kwargs):
       self.document = {"genre": "XXX", "age": "XXX"}
    def __getattr__(self, name):
        if name in self.document:
            return self.document[name]
        else:
            raise AttributeError(f"'{self.__class__.__name__}' object has no attribute '{name}'")
    def __setattr__(self, name, value):
        # 这里的self.document会触发__getattr__方法
        # 从而在__getattr__里面的self.document又继续
        # 触发__getattr__,从而产生递归调用问题
        if name in self.document: 
            self.document[name] = value
        else:
            super().__setattr__(name, value)
person = Person()
person.age = 18 

为了解决这个问题,我们可以在类中使用 self.__dict__.setdefault() 方法或者在 init 方法中使用 self._document = {} 来初始化实例属性。这样做的好处是,实例属性和类属性的作用域得到了清晰的界定,避免了递归调用的问题。此外,如果要修改实例属性,我们可以直接使用 setattr() 方法,而不是直接赋值,这样也可以避免递归调用的问题。

下面是一个示例代码,演示了如何使用 getattrsetattr 方法,避免递归调用的问题:

class Person(object):
    def __init__(self, *args, **kwargs):
       # 初始化实例下的__dict__
       self.__dict__.setdefault('document', {})
       self.document = {"genre": "XXX", "age": "XXX"}
    def __getattr__(self, name):
        if name in self.document:
            return self.document[name]
        else:
            raise AttributeError(f"'{self.__class__.__name__}' object has no attribute '{name}'")
    def __setattr__(self, name, value):
        if name in self.document: 
            self.document[name] = value
        else:
            super().__setattr__(name, value)

在这个示例代码中,我们使用了 self.__dict__.setdefault() 方法来初始化实例属性。这样,就可以避免递归调用的问题,确保程序能够正确地运行。

另外在类属性这里初始化一个document = {}也能解决问题,但是需要注意类属性和实例属性的作用域,避免产生混淆,导致程序出错。

class Person(object):
    document = {"genre": "XXX", "age": "XXX"}
    def __init__(self, *args, **kwargs):
        pass
    def __getattr__(self, name):
        if name in self.document:
            return self.document[name]
        else:
            raise AttributeError(f"'{self.__class__.__name__}' object has no attribute '{name}'")

    def __setattr__(self, name, value):
        if name in self.document: 
            self.document[name] = value
        else:
            super().__setattr__(name, value)

Python的__getattr__和__setattr__是在开发中很好用的方法,能大大提高开发效率,但是递归调用的问题不能忽视,以上便是针对这个问题的解决方案。

pyright的type hints提示

大概很久没更新过vim的插件系统,最近重装了一下coc.nvim,发现最新的coc-pyright版本,增加了inlay hints,他的效果是在代码的变量边上显示变量类型,函数返回类型,如下所示:

这个如果习惯没关系,在debug的时候会很好用,如果在写代码,甚至复制代码的时候,可能会有影响,总之不是很习惯。可以在vim里面通过:CocConfig打开coc-settings.json,在里面增加下面两个配置就可以了

{
  # 返回类型不显示
  "pyright.inlayHints.functionReturnTypes": false,  
  # 变量类型不显示
  "pyright.inlayHints.variableTypes": false  
}

具体参考:

https://github.com/fannheyward/coc-pyright#Configurations

如何在pypiserver中启用密钥保护保护你的Python包仓库

pypiserver是一个用于搭建Python包仓库的简单易用的工具。为了保护你的Python包仓库的安全,pypiserver支持密码文件和HTTPS加密通信。本文将为你介绍如何在pypiserver中启用密钥保护,提高你的Python包仓库的安全性。

作为一名专业的Python程序员,你可能经常需要管理自己的Python包仓库。而pypiserver就是一个简单易用的工具,可以让你快速搭建自己的Python包仓库。但是,为了保护你的Python包仓库的安全,你可能需要在pypiserver中启用密钥保护。本文将为你介绍如何在pypiserver中启用密钥保护。

一、密码文件

pypiserver默认不支持密钥,但是可以通过设置密码文件来限制访问pypiserver。在pypiserver的根目录下创建一个名为.htaccess的文件,并在其中添加以下内容:

username:password

其中,username和password分别是你要设置的用户名和密码。请注意,密码需要使用htpasswd工具生成,否则会造成安全风险。htpasswd工具可以通过以下命令安装:

$ sudo apt-get install apache2-utils

使用htpasswd生成密码:

$ htpasswd -c .htpasswd username

输入密码后,将在当前目录下生成一个名为.htpasswd的文件,其中包含加密后的密码。你可以使用以下命令验证密码是否设置成功:

$ htpasswd -v .htpasswd username

二、HTTPS

HTTPS可以通过在pypiserver的配置文件中设置来启用。在pypiserver的根目录下创建一个名为config.py的文件,并在其中添加以下内容:

[server:main]
use = egg:gunicorn
host = 0.0.0.0
port = 80
certfile = /path/to/cert.pem
keyfile = /path/to/key.pem

其中,certfile和keyfile分别是SSL证书和密钥文件的路径。你可以使用Let’s Encrypt等工具来生成证书和密钥文件。

请注意,启用HTTPS会增加服务器的安全性,但也会增加服务器的负担。如果你的服务器配置较低,可能会影响pypiserver的性能。

总结:

本文介绍了如何在pypiserver中启用密钥保护,包括密码文件和HTTPS加密通信。通过设置密码文件或启用HTTPS,可以提高你的Python包仓库的安全性,保护你的Python包不受非法访问。

如何使用 pip 配置文件配置 PyPI 私有服务器

本文将介绍如何通过 pip 配置文件来配置 PyPI 私有服务器,以便在使用 pip 安装包和依赖时,自动判断要从哪个服务器下载相应的文件。我们将使用 ~/.pip/pip.conf 文件来配置私有服务器的 URL,同时也会介绍如何在配置文件中指定认证信息、缓存设置等。

在 Python 开发过程中,我们经常需要使用 pip 命令来安装各种依赖包。默认情况下,pip 会从公共 PyPI 服务器中下载相应的文件。但是,有时候我们需要使用私有 PyPI 服务器来管理和分发私有的 Python 包和依赖。这时候,我们可以使用 pip 配置文件来配置私有服务器的 URL。

配置私有 PyPI 服务器的 URL

使用 pip 配置文件来配置私有 PyPI 服务器的 URL,可以让我们在使用 pip 安装包和依赖时,自动判断要从哪个服务器下载相应的文件。下面是配置文件的步骤:

创建 ~/.pip 目录:

mkdir -p ~/.pip

创建 pip.conf 文件,并编辑文件:

touch ~/.pip/pip.conf nano ~/.pip/pip.conf

pip.conf 文件中添加以下内容:

[global]
index-url = http://localhost:8080/simple/ 
#指定可信任的主机名,用于避免 SSL 证书验证失败的问题
trusted-host = localhost

这里的 index-url 参数指定了私有 PyPI 服务器的 URL,可以根据实际情况进行修改。

配置完成后,我们就可以在使用 pip 安装包和依赖时,从私有 PyPI 服务器中下载相应的文件。如果需要从公共 PyPI 服务器中下载,可以在 pip 命令中使用 -i--index-url 参数指定相应的 URL。

其他配置选项

除了配置私有 PyPI 服务器的 URL,我们还可以在 pip 配置文件中指定认证信息、缓存设置等。以下是一些常用的配置选项:

  • index-url:指定 PyPI 服务器的 URL。
  • trusted-host:指定可信任的主机名,用于避免 SSL 证书验证失败的问题。
  • proxy:指定 HTTP/HTTPS 代理服务器的 URL。
  • timeout:指定连接超时的时间,单位为秒。
  • no-cache-dir:禁用缓存,每次都从服务器下载最新的包和依赖。

可以在 pip 官方文档中查看完整的配置选项。

为什么需要 PyPI 私有服务器及其优点和限制

PyPI 私有服务器是用于内部开发和部署的Python包和依赖管理工具。本文将介绍 PyPI 私有服务器的概念、作用、优点和限制,以及常见的 PyPI 私有服务器解决方案和比较。

PyPI是Python Package Index的缩写,它是一个公共的包管理器,包含了大量的Python库和依赖。然而,在某些情况下,开发团队可能需要使用私有的包管理器。这时候,就需要使用PyPI私有服务器。

PyPI 私有服务器的作用是在企业内部建立一个私有的Python包仓库,供内部开发人员使用。通过PyPI私有服务器,开发团队可以方便地维护和管理项目中的包和依赖。此外,PyPI私有服务器还可以提高安全性,保护企业的代码和知识产权,防止恶意攻击和泄漏。

PyPI 私有服务器的优点包括:

  1. 提高开发效率:PyPI私有服务器可以缩短项目的开发周期,提高开发效率,因为开发人员可以快速地访问内部仓库中的包和依赖,避免了网络延迟和其他不必要的等待。
  2. 提高安全性:PyPI私有服务器可以保护企业的代码和知识产权,防止恶意攻击和泄漏。企业可以通过PyPI私有服务器来管理和审核所使用的包和依赖,确保其安全性和可靠性。
  3. 提高稳定性:PyPI私有服务器可以帮助企业管理和维护内部使用的包和依赖。企业可以根据自己的需求进行包和依赖的版本控制和更新,从而提高项目的稳定性和可靠性。

然而,PyPI私有服务器也有一些限制,包括:

  1. 需要专业的维护人员:PyPI私有服务器需要专业的维护人员来管理和维护。如果没有专业人员来维护,可能会导致一些安全问题和性能问题。
  2. 需要投入大量的时间和资源:建立和维护PyPI私有服务器需要大量的时间和资源。企业需要投入足够的资源来建立和维护服务器,从而确保其可靠性和稳定性。

常见的 PyPI 私有服务器解决方案包括:

  • PyPI Server:PyPI Server 是一个开源的 PyPI 私有服务器解决方案,支持包和依赖的缓存和发布。它的设计简单,易于安装和使用。
  • devpi:devpi 是一个免费、开源的 PyPI 私有服务器解决方案,支持包和依赖的缓存、代理和发布。它提供了一些额外的功能,例如权限控制和多版本支持等。
  • Artifactory:Artifactory 是一款商业的 PyPI 私有服务器解决方案,支持 Python 包和依赖的缓存、代理、发布和管理。它还提供了一些高级功能,例如质量控制、版本控制和镜像等。

这些解决方案都有其优点和限制,企业或组织可以根据自己的需求和预算选择合适的解决方案。

结论:

在 Python 开发过程中,PyPI 私有服务器是一个重要的工具,可以帮助企业或组织更好地管理自己的 Python 项目。通过使用 PyPI 私有服务器,企业或组织可以实现安全、私密、稳定和定制化的 Python 包和依赖项的管理。在选择 PyPI 私有服务器解决方案时,企业或组织应该根据自己的需求和预算选择合适的解决方案。

Ubuntu虚拟服务器无法联网的问题处理

这次的断网问题可能比较特殊,记录一下对应的处理方案。

服务器Ubuntu 18.04安装Python 3的时候,发现有多个版本的Python被安装了,这时候为了做到具体的控制,所以将Python全删除了一遍,也好像因此造成了系统网络的问题。

重启后的第一结果是ssh连接超时,由于服务器使用了阿里云ECS,可以通过“控制台”远程连接服务器,这个连接可以理解为本地操作。

连上之后,有一些坑,还卸载了openssh-server,在重新安装openssh-server的时候,发现一直无法连上软件服务器,尝试用ifconfig检查联网,才发现网卡消失,没有任何的连接。

检查/etc/network/interfaces,发现配置都没有问题,通过ifconfig -a,能找到网卡eth0,这个时候使用dhclient eth0,来获取ip地址,解决联网问题。

但是重启服务器后,发现又无法联网,服务器不可能每次重启后都要手动的获取一下IP,这个问题需要解决一下,之前尝试通过ifup eth0启用网卡的时候发现ifup没有安装,最后就通过sudo apt-get install ifupdown解决了这个问题,蛮神奇的,大概是什么依赖包因为安装了这个之后也一起安装了吧。

所以本文就对这次断网处理做个记录。

Ubuntu下MongoDB版本的升级

MongoDB从3.4到3.6到4.0的升级,是一个逐步完成的过程,需要运行每个版本的服务器程序做调整。下面给出的是一个逐步升级的方案,同时给出了各个版本的阿里云源,方便国内使用。

使用MongoDB好几年,服务器版本自最后一次升级一直停留在3.4版本。MongoDB版本已经出了3.6和4.0两个版本。这次服务器版本升级到Ubuntu 18.04,顺便就把MongDB也升级一下。

MongoDB从3.4到3.6到4.0的升级,是一个逐步完成的过程,需要每个版本的服务器程序运行做调整。下面给出的是一个逐步升级的方案,已经对应的阿里云源,方便国内使用

Continue reading “Ubuntu下MongoDB版本的升级”

服务器维护

本次服务器维护,将原来的一堆杂乱的资料重新整理了。但是出了些差错,之前的博客图片在备份的时候没有保存成功,好在数据库全保存了,不然文字图片都没了那是灾难。

本次维护会影响到之前推出的一些关键词工具的使用,会尽快恢复使用的,请随时关注博客的更新。

pymongo中find_one和find的效率

在Mongodb中,如果想检查一个文档是否存在,最高效的方法应该是使用find()+count(),而不是使用find_one()。

在Mongodb中,如果想检查一个文档是否存在,最高效的方法应该是使用find()+count(),而不是使用find_one()。

一般来说,我们第一感觉会认为find_one()最高效,但是find_one()每次查找会同时读取文档,这相比find()返回一个cursor,会慢不少。

David Mytton,在《Checking if a document exists – MongoDB slow findOne vs find》 (2013),指出了这个区别。

在我目前使用的pymongo 3.7.2中,无法像其文中所述,使用limit()判断返回的cursor是否存在,而需要count()判断返回的cursor是否包含文档。

因此,使用

db.collection.find({"username":"abc"}).count()
db.collection.find({"username":{"$in":usernames}).count() # 如果usernames是一个列表

来替代:

db.collection.find_one({_id: "myId"}, {_id: 1})