稳定性加权运营指数得分法

“稳定性加权运营指数得分法”(Stability-Weighted Operational Index Scoring, SWOIS)。这个名字体现了该方法的核心特点:通过加权稳定性(波动性的低度)来增强对运营指数高度的评价。

如果您希望有一个得分,既反映运营指数的高度又反映其稳定性,那么我们需要综合考虑运营指数的均值(或总值)和其变异系数或标准差。以下是一种可能的计算方法:

先,标准化运营指数:使得其均值为0,标准差为1。

\( z_{index} = \frac{x – \bar{x}}{\sigma}\) 

其中,xx 是特定月份的运营指数,xˉxˉ 是所有月份的平均运营指数,σσ 是运营指数的标准差。

计算变异系数:这是一个表示波动性的指标。

\( CV = \frac{\sigma}{\bar{x}}\) 

为了使得分又高又稳定,我们可以将标准化的运营指数与变异系数的逆数(或某种函数)结合

\( score = z_{index} \times f(CV)\) 

其中,f(CV)f(CV) 是一个函数,其值随着CV的增加而减小,表示越稳定(CV越小),得分的权重越大。

例如,一个简单的选择是:

\( f(CV) = \frac{1}{1 + CV}\) 

这样,当CV增加(也就是运营不稳定)时,得分的权重会降低,但当CV减少(运营更稳定)时,权重会增加。

这种方法将运营指数的高度和稳定性结合在一个得分中,使得得分又高又稳定时最大。您可以根据实际需求对此方法进行调整或改进。

使用 Gunicorn 进行 Python Web 应用部署的基础配置

Gunicorn(Green Unicorn)是一个用于部署 Python Web 应用的 WSGI HTTP 服务器。它以高效、稳定和易用而著称。在这篇博客中,我们将介绍如何进行基础的 Gunicorn 配置,并展示一个示例配置文件。

安装 Gunicorn

首先,确保你已经安装了 Gunicorn。可以使用 pip 进行安装:

pip install gunicorn

基础配置示例

以下是一个简单的 Gunicorn 配置文件示例 conf.py,用于启动一个 Web 应用:

#conf.py

import gevent.monkey
import multiprocessing

gevent.monkey.patch_all()

bind = '0.0.0.0:5000'
preload_app = True
loglevel = 'error'
logfile = 'log/debug.log'
accesslog = 'log/access.log'
access_log_format = '%(h)s %(t)s %(U)s %(q)s'
errorlog = 'log/error.log'
proc_name = 'vservice'
pidfile = 'log/gunicorn.pid'
daemon = True
workers = multiprocessing.cpu_count() * 2 + 1
threads = multiprocessing.cpu_count() * 2
worker_class = 'gevent'


这个配置文件设置了 Gunicorn 的基本参数,包括绑定地址、日志路径、进程和线程数量等。现在,让我们一行一行地解释这个配置。

  1. import gevent.monkey 和 gevent.monkey.patch_all():引入并启用 gevent monkey patch,以使 Gunicorn 与 gevent 协同工作。
  2. import multiprocessing:引入 multiprocessing 模块,用于获取 CPU 核心数量。
  3. bind = ‘0.0.0.0:8002’:设置 Gunicorn 的绑定地址和端口,允许通过所有网络接口访问,端口为 8002。
  4. preload_app = True:在主进程启动时预加载应用程序,适用于一些需要共享资源或者在启动时执行初始化代码的情况。
  5. loglevel = ‘error’:设置日志级别为 ‘error’,只记录错误信息。
  6. logfile = ‘log/debug.log’:设置日志文件路径。
  7. accesslog = ‘log/access.log’:设置访问日志文件路径。
  8. access_log_format = ‘%(h)s %(t)s %(U)s %(q)s’:设置访问日志的格式。
  9. errorlog = ‘log/error.log’:设置错误日志文件路径。
  10. proc_name = ‘vservice’:设置 Gunicorn 进程的名称。
  11. pidfile = ‘log/gunicorn.pid’:设置 Gunicorn 进程的 PID 文件路径。
  12. daemon = True:将 Gunicorn 进程设置为守护进程,即在后台运行。
  13. workers = multiprocessing.cpu_count() * 2 + 1:设置工作进程的数量,通常为 CPU 核心数的两倍加一。
  14. threads = multiprocessing.cpu_count() * 2:设置每个工作进程的线程数,通常为 CPU 核心数的两倍。
  15. worker_class = ‘gevent’:设置工作进程的类别为 gevent,表示使用 gevent 模块提供的协程支持。

启动 Gunicorn 服务器

使用以下命令启动 Gunicorn 服务器:

gunicorn -c conf.py your_app:app

这里的 your_app:app 是你的应用的模块和应用实例。通过这个简单的配置文件,你可以轻松地启动一个 Gunicorn 服务器,并根据实际需要进行配置。

希望这篇博客对你理解和配置 Gunicorn 服务器有所帮助!如果有任何问题或疑问,请随时留言。

避免Python中的递归调用问题:如何正确使用__getattr__和__setattr__方法

递归调用是指一个函数或方法在执行的过程中,直接或间接地调用了自身,从而形成了无限循环的调用关系,导致程序崩溃或陷入死循环。在 Python 中,由于方法和属性的调用方式不同,很容易出现递归调用的问题,特别是在使用 __setattr__ 和 __getattr__ 等特殊方法时。

递归调用是指一个函数或方法在执行的过程中,直接或间接地调用了自身,从而形成了无限循环的调用关系,导致程序崩溃或陷入死循环。在 Python 中,由于方法和属性的调用方式不同,很容易出现递归调用的问题,特别是在使用 __setattr__ 和 __getattr__ 等特殊方法时。

RecursionError: maximum recursion depth exceeded 

在相关开发的项目中,为了便于数据库和业务的交互,定义了一些Model来处理任务,为了简便完成Model的开发,采用了 __setattr__ 和 __getattr__ ,但却因此产生了递归调用的问题。以下是出错的代码:

class Person(object):
    def __init__(self, *args, **kwargs):
       self.document = {"genre": "XXX", "age": "XXX"}
    def __getattr__(self, name):
        if name in self.document:
            return self.document[name]
        else:
            raise AttributeError(f"'{self.__class__.__name__}' object has no attribute '{name}'")
    def __setattr__(self, name, value):
        # 这里的self.document会触发__getattr__方法
        # 从而在__getattr__里面的self.document又继续
        # 触发__getattr__,从而产生递归调用问题
        if name in self.document: 
            self.document[name] = value
        else:
            super().__setattr__(name, value)
person = Person()
person.age = 18 

为了解决这个问题,我们可以在类中使用 self.__dict__.setdefault() 方法或者在 init 方法中使用 self._document = {} 来初始化实例属性。这样做的好处是,实例属性和类属性的作用域得到了清晰的界定,避免了递归调用的问题。此外,如果要修改实例属性,我们可以直接使用 setattr() 方法,而不是直接赋值,这样也可以避免递归调用的问题。

下面是一个示例代码,演示了如何使用 getattrsetattr 方法,避免递归调用的问题:

class Person(object):
    def __init__(self, *args, **kwargs):
       # 初始化实例下的__dict__
       self.__dict__.setdefault('document', {})
       self.document = {"genre": "XXX", "age": "XXX"}
    def __getattr__(self, name):
        if name in self.document:
            return self.document[name]
        else:
            raise AttributeError(f"'{self.__class__.__name__}' object has no attribute '{name}'")
    def __setattr__(self, name, value):
        if name in self.document: 
            self.document[name] = value
        else:
            super().__setattr__(name, value)

在这个示例代码中,我们使用了 self.__dict__.setdefault() 方法来初始化实例属性。这样,就可以避免递归调用的问题,确保程序能够正确地运行。

另外在类属性这里初始化一个document = {}也能解决问题,但是需要注意类属性和实例属性的作用域,避免产生混淆,导致程序出错。

class Person(object):
    document = {"genre": "XXX", "age": "XXX"}
    def __init__(self, *args, **kwargs):
        pass
    def __getattr__(self, name):
        if name in self.document:
            return self.document[name]
        else:
            raise AttributeError(f"'{self.__class__.__name__}' object has no attribute '{name}'")

    def __setattr__(self, name, value):
        if name in self.document: 
            self.document[name] = value
        else:
            super().__setattr__(name, value)

Python的__getattr__和__setattr__是在开发中很好用的方法,能大大提高开发效率,但是递归调用的问题不能忽视,以上便是针对这个问题的解决方案。

pyright的type hints提示

大概很久没更新过vim的插件系统,最近重装了一下coc.nvim,发现最新的coc-pyright版本,增加了inlay hints,他的效果是在代码的变量边上显示变量类型,函数返回类型,如下所示:

这个如果习惯没关系,在debug的时候会很好用,如果在写代码,甚至复制代码的时候,可能会有影响,总之不是很习惯。可以在vim里面通过:CocConfig打开coc-settings.json,在里面增加下面两个配置就可以了

{
  # 返回类型不显示
  "pyright.inlayHints.functionReturnTypes": false,  
  # 变量类型不显示
  "pyright.inlayHints.variableTypes": false  
}

具体参考:

https://github.com/fannheyward/coc-pyright#Configurations

如何在pypiserver中启用密钥保护保护你的Python包仓库

pypiserver是一个用于搭建Python包仓库的简单易用的工具。为了保护你的Python包仓库的安全,pypiserver支持密码文件和HTTPS加密通信。本文将为你介绍如何在pypiserver中启用密钥保护,提高你的Python包仓库的安全性。

作为一名专业的Python程序员,你可能经常需要管理自己的Python包仓库。而pypiserver就是一个简单易用的工具,可以让你快速搭建自己的Python包仓库。但是,为了保护你的Python包仓库的安全,你可能需要在pypiserver中启用密钥保护。本文将为你介绍如何在pypiserver中启用密钥保护。

一、密码文件

pypiserver默认不支持密钥,但是可以通过设置密码文件来限制访问pypiserver。在pypiserver的根目录下创建一个名为.htaccess的文件,并在其中添加以下内容:

username:password

其中,username和password分别是你要设置的用户名和密码。请注意,密码需要使用htpasswd工具生成,否则会造成安全风险。htpasswd工具可以通过以下命令安装:

$ sudo apt-get install apache2-utils

使用htpasswd生成密码:

$ htpasswd -c .htpasswd username

输入密码后,将在当前目录下生成一个名为.htpasswd的文件,其中包含加密后的密码。你可以使用以下命令验证密码是否设置成功:

$ htpasswd -v .htpasswd username

二、HTTPS

HTTPS可以通过在pypiserver的配置文件中设置来启用。在pypiserver的根目录下创建一个名为config.py的文件,并在其中添加以下内容:

[server:main]
use = egg:gunicorn
host = 0.0.0.0
port = 80
certfile = /path/to/cert.pem
keyfile = /path/to/key.pem

其中,certfile和keyfile分别是SSL证书和密钥文件的路径。你可以使用Let’s Encrypt等工具来生成证书和密钥文件。

请注意,启用HTTPS会增加服务器的安全性,但也会增加服务器的负担。如果你的服务器配置较低,可能会影响pypiserver的性能。

总结:

本文介绍了如何在pypiserver中启用密钥保护,包括密码文件和HTTPS加密通信。通过设置密码文件或启用HTTPS,可以提高你的Python包仓库的安全性,保护你的Python包不受非法访问。

如何使用 pip 配置文件配置 PyPI 私有服务器

本文将介绍如何通过 pip 配置文件来配置 PyPI 私有服务器,以便在使用 pip 安装包和依赖时,自动判断要从哪个服务器下载相应的文件。我们将使用 ~/.pip/pip.conf 文件来配置私有服务器的 URL,同时也会介绍如何在配置文件中指定认证信息、缓存设置等。

在 Python 开发过程中,我们经常需要使用 pip 命令来安装各种依赖包。默认情况下,pip 会从公共 PyPI 服务器中下载相应的文件。但是,有时候我们需要使用私有 PyPI 服务器来管理和分发私有的 Python 包和依赖。这时候,我们可以使用 pip 配置文件来配置私有服务器的 URL。

配置私有 PyPI 服务器的 URL

使用 pip 配置文件来配置私有 PyPI 服务器的 URL,可以让我们在使用 pip 安装包和依赖时,自动判断要从哪个服务器下载相应的文件。下面是配置文件的步骤:

创建 ~/.pip 目录:

mkdir -p ~/.pip

创建 pip.conf 文件,并编辑文件:

touch ~/.pip/pip.conf nano ~/.pip/pip.conf

pip.conf 文件中添加以下内容:

[global]
index-url = http://localhost:8080/simple/ 
#指定可信任的主机名,用于避免 SSL 证书验证失败的问题
trusted-host = localhost

这里的 index-url 参数指定了私有 PyPI 服务器的 URL,可以根据实际情况进行修改。

配置完成后,我们就可以在使用 pip 安装包和依赖时,从私有 PyPI 服务器中下载相应的文件。如果需要从公共 PyPI 服务器中下载,可以在 pip 命令中使用 -i--index-url 参数指定相应的 URL。

其他配置选项

除了配置私有 PyPI 服务器的 URL,我们还可以在 pip 配置文件中指定认证信息、缓存设置等。以下是一些常用的配置选项:

  • index-url:指定 PyPI 服务器的 URL。
  • trusted-host:指定可信任的主机名,用于避免 SSL 证书验证失败的问题。
  • proxy:指定 HTTP/HTTPS 代理服务器的 URL。
  • timeout:指定连接超时的时间,单位为秒。
  • no-cache-dir:禁用缓存,每次都从服务器下载最新的包和依赖。

可以在 pip 官方文档中查看完整的配置选项。

为什么需要 PyPI 私有服务器及其优点和限制

PyPI 私有服务器是用于内部开发和部署的Python包和依赖管理工具。本文将介绍 PyPI 私有服务器的概念、作用、优点和限制,以及常见的 PyPI 私有服务器解决方案和比较。

PyPI是Python Package Index的缩写,它是一个公共的包管理器,包含了大量的Python库和依赖。然而,在某些情况下,开发团队可能需要使用私有的包管理器。这时候,就需要使用PyPI私有服务器。

PyPI 私有服务器的作用是在企业内部建立一个私有的Python包仓库,供内部开发人员使用。通过PyPI私有服务器,开发团队可以方便地维护和管理项目中的包和依赖。此外,PyPI私有服务器还可以提高安全性,保护企业的代码和知识产权,防止恶意攻击和泄漏。

PyPI 私有服务器的优点包括:

  1. 提高开发效率:PyPI私有服务器可以缩短项目的开发周期,提高开发效率,因为开发人员可以快速地访问内部仓库中的包和依赖,避免了网络延迟和其他不必要的等待。
  2. 提高安全性:PyPI私有服务器可以保护企业的代码和知识产权,防止恶意攻击和泄漏。企业可以通过PyPI私有服务器来管理和审核所使用的包和依赖,确保其安全性和可靠性。
  3. 提高稳定性:PyPI私有服务器可以帮助企业管理和维护内部使用的包和依赖。企业可以根据自己的需求进行包和依赖的版本控制和更新,从而提高项目的稳定性和可靠性。

然而,PyPI私有服务器也有一些限制,包括:

  1. 需要专业的维护人员:PyPI私有服务器需要专业的维护人员来管理和维护。如果没有专业人员来维护,可能会导致一些安全问题和性能问题。
  2. 需要投入大量的时间和资源:建立和维护PyPI私有服务器需要大量的时间和资源。企业需要投入足够的资源来建立和维护服务器,从而确保其可靠性和稳定性。

常见的 PyPI 私有服务器解决方案包括:

  • PyPI Server:PyPI Server 是一个开源的 PyPI 私有服务器解决方案,支持包和依赖的缓存和发布。它的设计简单,易于安装和使用。
  • devpi:devpi 是一个免费、开源的 PyPI 私有服务器解决方案,支持包和依赖的缓存、代理和发布。它提供了一些额外的功能,例如权限控制和多版本支持等。
  • Artifactory:Artifactory 是一款商业的 PyPI 私有服务器解决方案,支持 Python 包和依赖的缓存、代理、发布和管理。它还提供了一些高级功能,例如质量控制、版本控制和镜像等。

这些解决方案都有其优点和限制,企业或组织可以根据自己的需求和预算选择合适的解决方案。

结论:

在 Python 开发过程中,PyPI 私有服务器是一个重要的工具,可以帮助企业或组织更好地管理自己的 Python 项目。通过使用 PyPI 私有服务器,企业或组织可以实现安全、私密、稳定和定制化的 Python 包和依赖项的管理。在选择 PyPI 私有服务器解决方案时,企业或组织应该根据自己的需求和预算选择合适的解决方案。

Ubuntu虚拟服务器无法联网的问题处理

这次的断网问题可能比较特殊,记录一下对应的处理方案。

服务器Ubuntu 18.04安装Python 3的时候,发现有多个版本的Python被安装了,这时候为了做到具体的控制,所以将Python全删除了一遍,也好像因此造成了系统网络的问题。

重启后的第一结果是ssh连接超时,由于服务器使用了阿里云ECS,可以通过“控制台”远程连接服务器,这个连接可以理解为本地操作。

连上之后,有一些坑,还卸载了openssh-server,在重新安装openssh-server的时候,发现一直无法连上软件服务器,尝试用ifconfig检查联网,才发现网卡消失,没有任何的连接。

检查/etc/network/interfaces,发现配置都没有问题,通过ifconfig -a,能找到网卡eth0,这个时候使用dhclient eth0,来获取ip地址,解决联网问题。

但是重启服务器后,发现又无法联网,服务器不可能每次重启后都要手动的获取一下IP,这个问题需要解决一下,之前尝试通过ifup eth0启用网卡的时候发现ifup没有安装,最后就通过sudo apt-get install ifupdown解决了这个问题,蛮神奇的,大概是什么依赖包因为安装了这个之后也一起安装了吧。

所以本文就对这次断网处理做个记录。

Ubuntu下MongoDB版本的升级

MongoDB从3.4到3.6到4.0的升级,是一个逐步完成的过程,需要运行每个版本的服务器程序做调整。下面给出的是一个逐步升级的方案,同时给出了各个版本的阿里云源,方便国内使用。

使用MongoDB好几年,服务器版本自最后一次升级一直停留在3.4版本。MongoDB版本已经出了3.6和4.0两个版本。这次服务器版本升级到Ubuntu 18.04,顺便就把MongDB也升级一下。

MongoDB从3.4到3.6到4.0的升级,是一个逐步完成的过程,需要每个版本的服务器程序运行做调整。下面给出的是一个逐步升级的方案,已经对应的阿里云源,方便国内使用

Continue reading “Ubuntu下MongoDB版本的升级”