apache2.4 + django + windows10 自动化部署|蓝白社区的博客|蓝白社区

微信公众号

站点链接

博文目录

#custom-toc-container

apache2.4 + django + windows10 自动化部署

BGLB0324 2021年11月14日 22:57

最后发布:2021年11月14日 22:57首发:2021年11月14日 22:57

376 0

博文分类：

运维安全

博文标签：

自动化部署

windows

本文链接：http://blog.bglb.work/blog/blog-detail/65

版权

[TOC]
# apache2.4 + django + windows10 自动化部署

> 在django项目中建立一个`webhooks` url 路由, 在该路由下异步执行自动化部署脚本 在未部署的时候, 访问该路由 是没有问题的 成功执行了脚本
>
> 脚本涉及两个内容 拉取更新本地代码 和  重启 apache2.4  
>
> apache2.4 部署djano之后, 项目访问没有问题,但是在执行自动化部署脚本的时候 遇到了如下问题
>
> 1.找不到虚拟环境下python 解释器的路径, **sys.executable** 返回的是 **httpd.exe** 的路径
>
> 2.自动化脚本中不能引入`django`项目中的包文件, 只能引入当前`python`环境下的包文件!
> 3.自动化脚本中执行的环境变量与预期不同  `%USERPROFILE%` 路径 变为了 `C:\\WINDOWS\\system32\\config\\systemprofile`

## apache2.4 部署之后 找不到当前python解释器的路径
1. Bug 复现

```python
   # 在 django 任意视图中输出 sys.executable
   def test(request)
   	"""
   	测试 视图
   	"""
       logger.info("sys.executable: {}".format(sys.executable))
   
   ```

然后重启apache 访问该视图 你会惊讶 因为它输出的是: **c:\apache24\bin\httpd.exe**

why????

抱着疑惑 我直接打印了`sys.path` 试图 找到 python 路径

但是它输出的是 虚拟环境下的 包文件路径 和 项目根路径

像这样: `e:\\development\\django_project\\env\\Lib\\site-packages`

2. 解决方案

**好吧 我通过这个路径还是可以找到当前python 路径的** 用`\\Scripts\\python.exe` 替换掉后面的`\\Lib\\site-packages`

## 自动化脚本中 git pull 指令报错

报错内容如下

Host key verification failed.
fatal: Could not read from remote repository.
Please make sure you have the correct access rights
and the repository exists.

说我没有权限, 怎么可能  我刚才都push了 一番百度之后 发现问题好像归结到了 `.ssh` 目录的问题

一般来说 git 拉取代码的时候 会建立ssh 连接 那么 ssh 寻找 ssh_key 的时候 会从当前用户目录下寻找 .ssh 目录 里面所对应的key

所以 我这次直接打印了 %USERPROFILE% 的值

果不其然, 在apache 部署之后 %USERPROFILE% 变成了 `C:\\WINDOWS\\system32\\config\\systemprofile`

啊! 这? 我没办法了, 这个不知道该从何下手, 于是就把 当前用户的 .shh 目录 复制了一份到 上面的路径去

**重启 apache 脚本正常运行**

## 自动化脚本中 引入 django 项目的自定义包文件

我手贱优化了一下 部署脚本

将一些密钥提取到了 conf\env.py 里面 统一管理

手动启动 django 项目 完美运行 通过apache 部署之后 就没有反应

我随后又加了logger 发现 导入 env 的时候报错找不到 该包文件

简直了!!!  好吧 只能 通过 打开文件的方式 加载 密钥了

这次 完美运行 !!!

## subprocess.py 报错

欣喜若狂的 进行测试

`git commit -m "fix: 测试部署脚本"`

`git push`

然后 等了好一会 没有反应 我打开更新日志看了看

报错了:

```log
[2021-11-14 02:27:01,467][root.<module>():119] [ERROR] Traceback (most recent call last):
 File "E:\development\django_project\utils\auto_update.py", line 117, in <module>
 update()
 File "E:\development\django_project\utils\auto_update.py", line 88, in update
 flag, git_res = git_pull()
 File "E:\development\django_project\utils\auto_update.py", line 55, in git_pull
 messages = exec_cmd(message_list)
 File "E:\development\django_project\utils\util.py", line 54, in exec_cmd
 out, err = proc.communicate(timeout=timeout)
 File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\subprocess.py", line 964, in communicate
 stdout, stderr = self._communicate(input, endtime, timeout)
 File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\subprocess.py", line 1317, in _communicate
 stdout = stdout[0]
IndexError: list index out of range

```

相关代码如下: 注释部分 是我之后加的

```python
# django_project\utils\auto_update.py
from pip._internal import main as pip
def exec_cmd(cmd: str, timeout=10):
    proc = subprocess.Popen(cmd,
                            shell=True,
                            stdout=subprocess.PIPE,
                            stderr=subprocess.STDOUT,
                            encoding='gbk')
    res = []
    try:
        out, err = proc.communicate(timeout=timeout)
    except subprocess.TimeoutExpired as ex:
        res.append("commend_timeout:{}".format(ex))
        return res
    for line in out.splitlines():
        res.append(line)

return res

def git_pull():
 """
 git pull
 :return:
 """
 pull = 'git -C {} pull --force origin master:master'.format(project_path)
 change_file_list = 'git -C {} diff --name-status HEAD@{{1}}..HEAD'.format(project_path)
 message_list = 'git -C {} log HEAD@{{1}}..HEAD --pretty=format:"%s from %cn at %ci"'.format(project_path)
 res_lines = exec_cmd(pull, 20)
 logging.info(res_lines)
 res_lines.insert(0, '1. git pull')
 if 'Already up to date.' != res_lines[-1]:
 return False, res_lines
 change_file = exec_cmd(change_file_list, 20)
 logging.info(change_file)
 change_file.insert(0, '2. change file list')
 res_lines.extend(change_file)
 # time.sleep(1) 
 # try:
 messages = exec_cmd(message_list, 20)
 # logging.info(messages)
 messages.insert(0, '3. push message')
 res_lines.extend(messages)
 # except Exception:
 # logging.error('message: 获取失败: {}'.format(traceback.format_exc()))
 for item in change_file:
 if 'requirments.txt' in item:
 pip(['install', '-r', os.path.join(project_path, 'requirments.txt'), '-i',
 'https://pypi.douban.com/simple'])
 break
 return True, res_lines

```

我随后添加了注释部分的logger 发现 这样一条输出 `[2021-11-14 02:54:18,058][root.git_pull():60] [INFO] ['style: �����°��Զ����� from bangenlanbai at 2021-11-14 02:17:20 +0800']`

中文??? commit ? 怎么解码失败了. `proc = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, encoding='gbk')`

好吧  换utf-8 试试 , 换完之后 发现这里不报错了, 但是  下面 通过 `net stop apache2.4` 和 `net start apache2.4` 又会解码失败

所以 这个函数 被我改成了

```python
def exec_cmd(cmd: str, timeout=10):
    proc = subprocess.Popen(cmd,
                            shell=True,
                            stdout=subprocess.PIPE,
                            stderr=subprocess.STDOUT,
                            encoding=None) # 这里 不传encoding 就会返回 字节类型的 输出
    res = []
    try:
        out, err = proc.communicate(timeout=timeout)
    except subprocess.TimeoutExpired as ex:
        res.append("commend_timeout:{}".format(ex))
        return res
    for line in out.splitlines():
        # line 此时 是 bytes 类型
        try:
            line_str = str(line, encoding='GBK')  # 在这里尝试编码
        except Exception:
            line_str = str(line, encoding='utf-8')
		res.append(res)
    return res
```

改完之后 脚本完美运行 !

还有一个小问题

**python 默认的日志记录到文件 会出现GBK编码问题**

```python
# 默认的日志配置 文件格式 是 GBK
logging.basicConfig(level=logging.INFO,
                    filename=log_path,
                    filemode='a',
                    format=
                    '[%(asctime)s][%(name)s.%(funcName)s():%(lineno)d] [%(levelname)s] %(message)s',
                    )

# 使用 logging.FileHandler(filename=log_path, encoding='utf-8') 指定文件编码 就不会出问题
logger = logging.getLogger('auto_update')
file_handel = logging.FileHandler(filename=log_path, encoding='utf-8')
logger.setLevel('INFO')
file_handel.setFormatter(
    logging.Formatter('[%(asctime)s][%(name)s.%(funcName)s():%(lineno)d] [%(levelname)s] %(message)s'))
logger.addHandler(file_handel)

```

## 完善后的部署脚本如下

```python
# -*- coding:utf-8  -*-
# @Time     : 2021/11/12 19:32
# @Author   : BGLB
# @Software : PyCharm
# auto_update.py

import datetime
import logging
import os
import subprocess
import sys
import time
import traceback

from dingtalkchatbot.chatbot import DingtalkChatbot
from pip._internal import main as pip

self_path = os.path.abspath(__file__)

project_path = os.path.dirname(os.path.dirname(self_path))
log_path = os.path.join(project_path, 'logs', 'auto_update.log')

logger = logging.getLogger('auto_update')
file_handel = logging.FileHandler(filename=log_path, encoding='utf-8')
logger.setLevel('INFO')
file_handel.setFormatter(
    logging.Formatter('[%(asctime)s][%(name)s.%(funcName)s():%(lineno)d] [%(levelname)s] %(message)s'))
logger.addHandler(file_handel)

def exec_cmd(cmd: str, timeout=10):
    proc = subprocess.Popen(cmd,
                            shell=True,
                            stdout=subprocess.PIPE,
                            stderr=subprocess.STDOUT,
                            encoding=None)
    res = []
    try:
        out, err = proc.communicate(timeout=timeout)
    except subprocess.TimeoutExpired as ex:
        res.append("commend_timeout:{}".format(ex))
        return res
    for line in out.splitlines():
        try:
            line_str = line.decode()
        except Exception:
            line_str = line.decode('GBK')

res.append(line_str)

return res

def start_auto_update():
    """
        启动自己
    :return:
    """
    python_path = sys.executable if sys.executable.endswith('python.exe') else sys.path[0].replace('Lib\\site-packages',
                                                                                                   'Scripts\\python.exe')
    os.system('start "auto_update" /d {} {} {}'.format(project_path, python_path, self_path))

def git_pull():
 """
 git pull
 :return:
 """
 pull = 'git -C {} pull --force origin master:master'.format(project_path)
 change_file_list = 'git -C {} diff --name-status HEAD@{{1}}..HEAD'.format(project_path)
 message_list = 'git -C {} log HEAD@{{1}}..HEAD --pretty=format:"%s from %cn at %ci"'.format(project_path)
 res_lines = exec_cmd(pull, 20)
 logger.info(res_lines)
 res_lines.insert(0, '1. git pull')
 if 'Already up to date.' != res_lines[-1]:
 return False, res_lines
 change_file = exec_cmd(change_file_list, 20)
 logger.info(change_file)
 change_file.insert(0, '2. change file list')
 res_lines.extend(change_file)
 time.sleep(1)
 messages = exec_cmd(message_list, 20)
 logging.info(messages)
 messages.insert(0, '3. push message')
 res_lines.extend(messages)
 for item in change_file:
 if 'requirments.txt' in item:
 try:
 logger.info('下载 requirments.txt')
 pip(['install', '-r', os.path.join(project_path, 'requirments.txt'), '-i',
 'https://pypi.douban.com/simple'])
 break
 except Exception:
 log_str = f"下载失败：\n{traceback.format_exc()}"
 logger.error(log_str)
 res_lines.append(log_str)
 return False, res_lines
 return True, res_lines

def restart_apache():
    """
        重启 apache
    :return:
    """

cmd_line = ['net stop apache2.4', 'net start apache2.4']
    res = []
    for cmd in cmd_line:
        res.extend(exec_cmd(cmd, 60*2))
        time.sleep(1)
    if 'apache2.4 服务已经启动成功。' in res:
        return True, res
    return False, res

def update():
    """
        更新
    :return:
    """
    # from conf.env import DINGDING_ROBOT_URL, DINGDING_SECRET, DINGDING_AT_MOBILES
    DINGDING_ROBOT_URL = ''
    DINGDING_SECRET = ''
    DINGDING_AT_MOBILES = []
	# 这里读取env 配置还是有点很不优雅
    env_path = os.path.join(project_path, 'conf', 'env.py')
    with open(env_path, encoding='utf=8', mode='r') as f:
        text = f.readlines()
    for item in text:
        if item and item.startswith('DINGDING'):
            value = item.strip(' ').strip('\n').split('=', 1)[-1]

if 'DINGDING_ROBOT_URL' in item:
                DINGDING_ROBOT_URL = eval(value)

if item and 'DINGDING_SECRET' in item:
                DINGDING_SECRET = eval(value)

if item and 'DINGDING_AT_MOBILES' in item:
                DINGDING_AT_MOBILES = eval(value)

dingding = DingtalkChatbot(DINGDING_ROBOT_URL, secret=DINGDING_SECRET)
 flag, git_res = git_pull()
 markdown = '# 自动化部署日志\n\nstart_time: {}\n\n'.format(datetime.datetime.now().strftime('%Y-%m-%d ''%H:%M:%S'))
 markdown += '\n\n**pull update**\n'
 for index, item in enumerate(git_res):
 prefix = '' if item.endswith('') else '> - '
 markdown += '\n{}{}\n'.format(prefix, item.lstrip())

if not flag:
 markdown += '\n\n\n**git pull 失败 快去看看**\n'
 dingding.send_markdown(title='自动化部署失败', text=markdown, at_mobiles=DINGDING_AT_MOBILES)
 return

flag, restart_apache_res = restart_apache()
    markdown += '\n\n\n**restart apache**\n>\n'
    for item in restart_apache_res:
        if item.strip(' '):
            markdown += '> - {}\n'.format(item.lstrip(' '))

if not flag:
 markdown += '\n\n\n**restart apache 失败 快去看看**\n\n'
 dingding.send_markdown(title='自动化部署失败', text=markdown, at_mobiles=DINGDING_AT_MOBILES)
 return

markdown += '\n\n\nend_time: {}\n\n\n'.format(datetime.datetime.now().strftime('%Y-%m-%d ''%H:%M:%S'))
    dingding.send_markdown(title='自动化部署成功', text=markdown, at_mobiles=DINGDING_AT_MOBILES)

# 钉钉机器人 markdown 语法 好像不支持 html 语法
if __name__ == '__main__':
    try:
        update()
    except Exception:
        logger.error(traceback.format_exc())

```

项目结构

```cmd
─django_project
    │  manage.py
    │  requirments.txt
    ├─conf
    │  │  env.py
    ├─utils
    │  │  auto_update.py
    ├─logs
    │  │  ...
    ├─django_project
    │  │  setting.py
    ├─test_app
    │  │  view.py
    │  │  models.py
    │  │  urls.py
```

暂时没有评论

请登录后评论

半根蓝白个人主页

CSDN

Github

博文目录

apache2.4 + django + windows10 自动化部署