win下spark null\bin\winutils.exe 报错
spark java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 报错
环境
win10 jdk1.8 scale spark2.11
代码
package com.atguigu.spark.core.wc
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext};
object Spark01_WorldCount {
def main(args:Array[String]) : Unit = {
val spa...
hadoop 常用脚本
Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver) myhadoop.sh
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
...
ubuntu win 双系统安装
ubuntu版本选择
2022年下半年, 实习的小公司里主要生产统一使用18.04,确实兼容性很好, 可以完美配合 ros melodic
动手学习深度学习,李沐选用ubuntu版本也是18
这个时间段相对来说比较稳定的选择
使用ros环境最好根据ros对应的ubuntu版本进行
笔记本安装
当时实习的时候只带了笔记本,就在笔记本上安装双系统
硬件
小新pro13 2020 amd
4600u低配
硬盘原本是500g 自行换成了1T 闪迪 ultra 3D 硬盘是个坑点
安装
清空硬盘区域
直接硬盘压缩出合适的空间,设置空间为未分配即可,win自带磁盘管理工具或者其他工具均可达到,考虑到当时使用的kitti数据集已经超过30g,就先分配了100g
制作u...
github pages 搭建
搭建流程
创建github.io结尾仓库,然后找一个jekly模板导入仓库,fork,或者下载再上传都行
博客内容直接用md写,静态模板会帮助转换成html网页,语法就参照markdown 语法,有部分区别直接参考模板文档即可
bug 相关
github actions 报错
pages build and deployment: Some jobs were not successful
细节报错
删除相关代码
已经用代码块包裹,还是不行,删除后流水线恢复正常
linux板端如何查找其他用户并踢掉
fuser 命令
fuser 命令用于查找和操作正在使用指定文件或文件系统的进程。它提供了一种查找和终止进程的方式,以释放文件或文件系统资源。
fuser [options] <file or directory>
其中,options 是可选的命令选项,<file or directory> 是要查询的文件或目录的路径。
一些常用的 fuser 命令选项包括:
-k:终止正在使用文件或目录的进程。
-m:指定文件系统类型,仅查找指定类型的文件系统上的进程。
-n <namespace>:指定命名空间,仅查找指定命名空间中的进程。
-v:显示详细的进程信息。
以下是一些示例用法:
查找正在使用文件 /...
SIMD 优化
引入
接触到cv:atan2 的优化主要是SIMD,探索下SIMD优化的
SIMD介绍
SIMD 全称呼:
Single Instruction Multiple Data
单指令多数据流,可以使用一条指令同时完成多个数据的运算操作。传统的指令架构是SISD就是单指令单数据流,每条指令只能对一个数据执行操作
TODO
参考
https://www.cs.virginia.edu/~cr4bd/3330/F2018/simdref.html
https://leimao.github.io/blog/SSE-AVX-SIMD-Vectorization-Intrinsics/
https://zhuanlan.zhihu.com/p/583326378
c++ new T 和 new T() 的区别
主要区别就是 是否调用构造函数
new T:这种语法用于创建一个类型为 的对象,但不会调用默认构造函数进行初始化。对象的内存空间会被分配,但对象的成员变量不会被初始化,它们的值将是未定义的。你需要手动调用构造函数来初始化对象。
new T():这种语法用于创建一个类型为 的对象,并调用默认构造函数进行初始化。对象的内存空间会被分配,并且对象的成员变量会被默认构造函数初始化为其类型的默认值。
如果T是一个自定义类,它可能具有自己的默认构造函数和其他构造函数。如果你想确保对象的成员变量被正确初始化,可以使用 new T() 语法。但是,如果你想在创建对象后手动调用构造函数进行特定的初始化操作,可以使用 new T语法。
共计 128 篇文章,16 页。