菜单
个人主页
(当前)
写文章
浏览博文
    
搜索
登录
微信公众号
站点链接
半根蓝白个人主页
CSDN
Github
友情链接
摘繁华个人博客
博文目录
#custom-toc-container
apache2.4 + django + windows10 自动化部署
BGLB0324
2021年11月14日 22:57
最后发布:2021年11月14日 22:57
首发:2021年11月14日 22:57
376
0
博文分类:
运维安全
博文标签:
自动化部署
windows
版权声明:本文为博主[BGLB0324]原创文章,遵循
CC 4.0 BY
版权协议,转载请附上原文出处链接和本声明。
本文链接:
http://blog.bglb.work/blog/blog-detail/65
版权
[TOC] # apache2.4 + django + windows10 自动化部署 > 在django项目中建立一个`webhooks` url 路由, 在该路由下异步执行自动化部署脚本 在未部署的时候, 访问该路由 是没有问题的 成功执行了脚本 > > 脚本涉及两个内容 拉取更新本地代码 和 重启 apache2.4 > > apache2.4 部署djano之后, 项目访问没有问题,但是在执行自动化部署脚本的时候 遇到了如下问题 > > 1.找不到虚拟环境下python 解释器的路径, **sys.executable** 返回的是 **httpd.exe** 的路径 > > 2.自动化脚本中不能引入`django`项目中的包文件, 只能引入当前`python`环境下的包文件! > 3.自动化脚本中执行的环境变量与预期不同 `%USERPROFILE%` 路径 变为了 `C:\\WINDOWS\\system32\\config\\systemprofile` ## apache2.4 部署之后 找不到当前python解释器的路径 1. Bug 复现 ```python # 在 django 任意视图中输出 sys.executable def test(request) """ 测试 视图 """ logger.info("sys.executable: {}".format(sys.executable)) ``` 然后重启apache 访问该视图 你会惊讶 因为它输出的是: **c:\apache24\bin\httpd.exe** why???? 抱着疑惑 我直接打印了`sys.path` 试图 找到 python 路径 但是它输出的是 虚拟环境下的 包文件路径 和 项目根路径 像这样: `e:\\development\\django_project\\env\\Lib\\site-packages` 2. 解决方案 **好吧 我通过这个路径还是可以找到当前python 路径的** 用`\\Scripts\\python.exe` 替换掉后面的`\\Lib\\site-packages` ## 自动化脚本中 git pull 指令报错 报错内容如下 Host key verification failed. fatal: Could not read from remote repository. Please make sure you have the correct access rights and the repository exists. 说我没有权限, 怎么可能 我刚才都push了 一番百度之后 发现问题好像归结到了 `.ssh` 目录的问题 一般来说 git 拉取代码的时候 会建立ssh 连接 那么 ssh 寻找 ssh_key 的时候 会从当前用户目录下寻找 .ssh 目录 里面所对应的key 所以 我这次直接打印了 %USERPROFILE% 的值 果不其然, 在apache 部署之后 %USERPROFILE% 变成了 `C:\\WINDOWS\\system32\\config\\systemprofile` 啊! 这? 我没办法了, 这个不知道该从何下手, 于是就把 当前用户的 .shh 目录 复制了一份到 上面的路径去 **重启 apache 脚本正常运行** ## 自动化脚本中 引入 django 项目的自定义包文件 我手贱优化了一下 部署脚本 将一些密钥提取到了 conf\env.py 里面 统一管理 手动启动 django 项目 完美运行 通过apache 部署之后 就没有反应 我随后又加了logger 发现 导入 env 的时候报错找不到 该包文件 简直了!!! 好吧 只能 通过 打开文件的方式 加载 密钥了 这次 完美运行 !!! ## subprocess.py 报错 欣喜若狂的 进行测试 `git commit -m "fix: 测试部署脚本"` `git push` 然后 等了好一会 没有反应 我打开更新日志看了看 报错了: ```log [2021-11-14 02:27:01,467][root.
():119] [ERROR] Traceback (most recent call last): File "E:\development\django_project\utils\auto_update.py", line 117, in
update() File "E:\development\django_project\utils\auto_update.py", line 88, in update flag, git_res = git_pull() File "E:\development\django_project\utils\auto_update.py", line 55, in git_pull messages = exec_cmd(message_list) File "E:\development\django_project\utils\util.py", line 54, in exec_cmd out, err = proc.communicate(timeout=timeout) File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\subprocess.py", line 964, in communicate stdout, stderr = self._communicate(input, endtime, timeout) File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\subprocess.py", line 1317, in _communicate stdout = stdout[0] IndexError: list index out of range ``` 相关代码如下: 注释部分 是我之后加的 ```python # django_project\utils\auto_update.py from pip._internal import main as pip def exec_cmd(cmd: str, timeout=10): proc = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, encoding='gbk') res = [] try: out, err = proc.communicate(timeout=timeout) except subprocess.TimeoutExpired as ex: res.append("commend_timeout:{}".format(ex)) return res for line in out.splitlines(): res.append(line) return res def git_pull(): """ git pull :return: """ pull = 'git -C {} pull --force origin master:master'.format(project_path) change_file_list = 'git -C {} diff --name-status HEAD@{{1}}..HEAD'.format(project_path) message_list = 'git -C {} log HEAD@{{1}}..HEAD --pretty=format:"%s from %cn at %ci"'.format(project_path) res_lines = exec_cmd(pull, 20) logging.info(res_lines) res_lines.insert(0, '
1. git pull
') if 'Already up to date.' != res_lines[-1]: return False, res_lines change_file = exec_cmd(change_file_list, 20) logging.info(change_file) change_file.insert(0, '
2. change file list
') res_lines.extend(change_file) # time.sleep(1) # try: messages = exec_cmd(message_list, 20) # logging.info(messages) messages.insert(0, '
3. push message
') res_lines.extend(messages) # except Exception: # logging.error('message: 获取失败: {}'.format(traceback.format_exc())) for item in change_file: if 'requirments.txt' in item: pip(['install', '-r', os.path.join(project_path, 'requirments.txt'), '-i', 'https://pypi.douban.com/simple']) break return True, res_lines ``` 我随后添加了注释部分的logger 发现 这样一条输出 `[2021-11-14 02:54:18,058][root.git_pull():60] [INFO] ['style: �����°��Զ����� from bangenlanbai at 2021-11-14 02:17:20 +0800']` 中文??? commit ? 怎么解码失败了. `proc = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, encoding='gbk')` 好吧 换utf-8 试试 , 换完之后 发现这里不报错了, 但是 下面 通过 `net stop apache2.4` 和 `net start apache2.4` 又会解码失败 所以 这个函数 被我改成了 ```python def exec_cmd(cmd: str, timeout=10): proc = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, encoding=None) # 这里 不传encoding 就会返回 字节类型的 输出 res = [] try: out, err = proc.communicate(timeout=timeout) except subprocess.TimeoutExpired as ex: res.append("commend_timeout:{}".format(ex)) return res for line in out.splitlines(): # line 此时 是 bytes 类型 try: line_str = str(line, encoding='GBK') # 在这里尝试编码 except Exception: line_str = str(line, encoding='utf-8') res.append(res) return res ``` 改完之后 脚本完美运行 ! 还有一个小问题 **python 默认的日志记录到文件 会出现GBK编码问题** ```python # 默认的日志配置 文件格式 是 GBK logging.basicConfig(level=logging.INFO, filename=log_path, filemode='a', format= '[%(asctime)s][%(name)s.%(funcName)s():%(lineno)d] [%(levelname)s] %(message)s', ) # 使用 logging.FileHandler(filename=log_path, encoding='utf-8') 指定文件编码 就不会出问题 logger = logging.getLogger('auto_update') file_handel = logging.FileHandler(filename=log_path, encoding='utf-8') logger.setLevel('INFO') file_handel.setFormatter( logging.Formatter('[%(asctime)s][%(name)s.%(funcName)s():%(lineno)d] [%(levelname)s] %(message)s')) logger.addHandler(file_handel) ``` ## 完善后的部署脚本如下 ```python # -*- coding:utf-8 -*- # @Time : 2021/11/12 19:32 # @Author : BGLB # @Software : PyCharm # auto_update.py import datetime import logging import os import subprocess import sys import time import traceback from dingtalkchatbot.chatbot import DingtalkChatbot from pip._internal import main as pip self_path = os.path.abspath(__file__) project_path = os.path.dirname(os.path.dirname(self_path)) log_path = os.path.join(project_path, 'logs', 'auto_update.log') logger = logging.getLogger('auto_update') file_handel = logging.FileHandler(filename=log_path, encoding='utf-8') logger.setLevel('INFO') file_handel.setFormatter( logging.Formatter('[%(asctime)s][%(name)s.%(funcName)s():%(lineno)d] [%(levelname)s] %(message)s')) logger.addHandler(file_handel) def exec_cmd(cmd: str, timeout=10): proc = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, encoding=None) res = [] try: out, err = proc.communicate(timeout=timeout) except subprocess.TimeoutExpired as ex: res.append("commend_timeout:{}".format(ex)) return res for line in out.splitlines(): try: line_str = line.decode() except Exception: line_str = line.decode('GBK') res.append(line_str) return res def start_auto_update(): """ 启动自己 :return: """ python_path = sys.executable if sys.executable.endswith('python.exe') else sys.path[0].replace('Lib\\site-packages', 'Scripts\\python.exe') os.system('start "auto_update" /d {} {} {}'.format(project_path, python_path, self_path)) def git_pull(): """ git pull :return: """ pull = 'git -C {} pull --force origin master:master'.format(project_path) change_file_list = 'git -C {} diff --name-status HEAD@{{1}}..HEAD'.format(project_path) message_list = 'git -C {} log HEAD@{{1}}..HEAD --pretty=format:"%s from %cn at %ci"'.format(project_path) res_lines = exec_cmd(pull, 20) logger.info(res_lines) res_lines.insert(0, '
1. git pull
') if 'Already up to date.' != res_lines[-1]: return False, res_lines change_file = exec_cmd(change_file_list, 20) logger.info(change_file) change_file.insert(0, '
2. change file list
') res_lines.extend(change_file) time.sleep(1) messages = exec_cmd(message_list, 20) logging.info(messages) messages.insert(0, '
3. push message
') res_lines.extend(messages) for item in change_file: if 'requirments.txt' in item: try: logger.info('下载 requirments.txt') pip(['install', '-r', os.path.join(project_path, 'requirments.txt'), '-i', 'https://pypi.douban.com/simple']) break except Exception: log_str = f"下载失败:\n{traceback.format_exc()}" logger.error(log_str) res_lines.append(log_str) return False, res_lines return True, res_lines def restart_apache(): """ 重启 apache :return: """ cmd_line = ['net stop apache2.4', 'net start apache2.4'] res = [] for cmd in cmd_line: res.extend(exec_cmd(cmd, 60*2)) time.sleep(1) if 'apache2.4 服务已经启动成功。' in res: return True, res return False, res def update(): """ 更新 :return: """ # from conf.env import DINGDING_ROBOT_URL, DINGDING_SECRET, DINGDING_AT_MOBILES DINGDING_ROBOT_URL = '' DINGDING_SECRET = '' DINGDING_AT_MOBILES = [] # 这里读取env 配置还是有点很不优雅 env_path = os.path.join(project_path, 'conf', 'env.py') with open(env_path, encoding='utf=8', mode='r') as f: text = f.readlines() for item in text: if item and item.startswith('DINGDING'): value = item.strip(' ').strip('\n').split('=', 1)[-1] if 'DINGDING_ROBOT_URL' in item: DINGDING_ROBOT_URL = eval(value) if item and 'DINGDING_SECRET' in item: DINGDING_SECRET = eval(value) if item and 'DINGDING_AT_MOBILES' in item: DINGDING_AT_MOBILES = eval(value) dingding = DingtalkChatbot(DINGDING_ROBOT_URL, secret=DINGDING_SECRET) flag, git_res = git_pull() markdown = '# 自动化部署日志\n\nstart_time: {}\n\n'.format(datetime.datetime.now().strftime('%Y-%m-%d ''%H:%M:%S')) markdown += '\n\n**pull update**\n' for index, item in enumerate(git_res): prefix = '' if item.endswith('') else '> - ' markdown += '\n{}{}\n'.format(prefix, item.lstrip()) if not flag: markdown += '\n\n\n**
git pull 失败
快去看看**\n' dingding.send_markdown(title='自动化部署失败', text=markdown, at_mobiles=DINGDING_AT_MOBILES) return flag, restart_apache_res = restart_apache() markdown += '\n\n\n**restart apache**\n>\n' for item in restart_apache_res: if item.strip(' '): markdown += '> - {}\n'.format(item.lstrip(' ')) if not flag: markdown += '\n\n\n**
restart apache 失败
快去看看**\n\n' dingding.send_markdown(title='自动化部署失败', text=markdown, at_mobiles=DINGDING_AT_MOBILES) return markdown += '\n\n\nend_time: {}\n\n\n'.format(datetime.datetime.now().strftime('%Y-%m-%d ''%H:%M:%S')) dingding.send_markdown(title='自动化部署成功', text=markdown, at_mobiles=DINGDING_AT_MOBILES) # 钉钉机器人 markdown 语法 好像不支持 html 语法 if __name__ == '__main__': try: update() except Exception: logger.error(traceback.format_exc()) ``` 项目结构 ```cmd ─django_project │ manage.py │ requirments.txt ├─conf │ │ env.py ├─utils │ │ auto_update.py ├─logs │ │ ... ├─django_project │ │ setting.py ├─test_app │ │ view.py │ │ models.py │ │ urls.py ```
点赞
0
打赏
暂时没有评论
请
登录
后评论
暂时没有评论