文章
记录技术实践、产品思考、读书笔记与项目复盘
共 289 篇文章 · 26 个分类

pip install出现错误
pip install时出现错误:Microsoft Visual C++ 14.0 is required。解决方案:访问https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的whl文件进行安装,避免编译依赖。

Python File
open()方法用于打开文件并返回文件对象,需配合close()或with语句使用。常用参数:file(路径)、mode(模式),完整参数包括buffering、encoding等。mode可选r、w、a、b、t、x、+等组合,分别对应只读、写入、追加、二进制等。文件读写方法有read()、readline()、readlines()、write()、writelines()等,以及seek()、tell()、truncate()等辅助方法。

Python 函数
介绍Python函数的基本语法,包括def定义、参数类型(默认参数、*args、**kwargs)、函数调用、闭包以及递归深度设置。通过多个示例演示参数传递和闭包特性。

Python 字典
本文介绍Python字典的基本概念和操作,包括创建、访问、修改、删除、遍历字典,以及字典推导式、zip组合、格式化输出、update更新等方法,通过多个示例展示字典的灵活性和常用技巧。

Python 元组

Python 列表(List)
本文详细介绍了Python列表的索引、切片、添加、删除、修改、排序、列表推导式等常用操作,并附有丰富的代码示例,帮助读者快速掌握列表的各种用法。

Python random
本文介绍了Python random模块的常用函数,包括生成随机整数、随机浮点数、随机字符、随机打乱列表等操作,并给出了具体代码示例,涵盖randint、randrange、random、uniform、choice、sample、shuffle等函数。
Python for while
文章展示了Python中for循环和while循环的嵌套用法,通过九九乘法表示例说明for嵌套、while嵌套以及for和while混合嵌套。同时介绍了循环控制语句break、continue和else子句在while循环中的应用,包括退出条件、break跳出循环时else不执行等细节。

Hadoop掉坑记录
启动Hadoop时,以root用户操作yarn和hdfs服务报错,原因是缺少YARN_RESOURCEMANAGER_USER、HDFS_NAMENODE_USER等环境变量。解决办法是在start-dfs.sh和start-yarn.sh等脚本顶部添加对应的用户变量定义,然后重新启动服务,并用jps和netstat验证。文章还列出了Namenode、Datanode、Yarn等组件的常用端口。

Docker安装Hadoop
本文详细介绍了在Ubuntu系统下使用Docker安装Hadoop的完整过程,包括创建基础镜像、安装JDK、配置Hadoop核心文件、设置静态IP、组建一主二从集群,并启动HDFS和YARN服务。

yarn-site.xml配置
本文展示了Hadoop YARN配置文件yarn-site.xml的典型配置,包括NodeManager辅助服务、ResourceManager主机名、ShuffleHandler类、虚拟内存检测关闭以及ResourceManager各服务端口等关键属性,适用于MapReduce程序运行环境配置。
Ubuntu更新源
本文介绍Ubuntu更新源的方法,包括查看内核版本与发行版本的命令(uname -a、cat /etc/issue、lsb_release),以及通过阿里云或清华大学镜像站替换源文件的步骤:先备份/etc/apt/sources.list,再编辑替换为官方镜像地址。