主页

win下spark null\bin\winutils.exe 报错

spark java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 报错 环境 win10 jdk1.8 scale spark2.11 代码 package com.atguigu.spark.core.wc import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}; object Spark01_WorldCount { def main(args:Array[String]) : Unit = { val spa...

阅读更多

hadoop 常用脚本

Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver) myhadoop.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh" ...

阅读更多

ubuntu win 双系统安装

ubuntu版本选择 2022年下半年, 实习的小公司里主要生产统一使用18.04,确实兼容性很好, 可以完美配合 ros melodic 动手学习深度学习,李沐选用ubuntu版本也是18 这个时间段相对来说比较稳定的选择 使用ros环境最好根据ros对应的ubuntu版本进行 笔记本安装 当时实习的时候只带了笔记本,就在笔记本上安装双系统 硬件 小新pro13 2020 amd 4600u低配 硬盘原本是500g 自行换成了1T 闪迪 ultra 3D 硬盘是个坑点 安装 清空硬盘区域 直接硬盘压缩出合适的空间,设置空间为未分配即可,win自带磁盘管理工具或者其他工具均可达到,考虑到当时使用的kitti数据集已经超过30g,就先分配了100g 制作u...

阅读更多

github pages 搭建

搭建流程 创建github.io结尾仓库,然后找一个jekly模板导入仓库,fork,或者下载再上传都行 博客内容直接用md写,静态模板会帮助转换成html网页,语法就参照markdown 语法,有部分区别直接参考模板文档即可 bug 相关 github actions 报错 pages build and deployment: Some jobs were not successful 细节报错 删除相关代码 已经用代码块包裹,还是不行,删除后流水线恢复正常

阅读更多

linux板端如何查找其他用户并踢掉

fuser 命令 fuser 命令用于查找和操作正在使用指定文件或文件系统的进程。它提供了一种查找和终止进程的方式,以释放文件或文件系统资源。 fuser [options] <file or directory> 其中,options 是可选的命令选项,<file or directory> 是要查询的文件或目录的路径。 一些常用的 fuser 命令选项包括: -k:终止正在使用文件或目录的进程。 -m:指定文件系统类型,仅查找指定类型的文件系统上的进程。 -n <namespace>:指定命名空间,仅查找指定命名空间中的进程。 -v:显示详细的进程信息。 以下是一些示例用法: 查找正在使用文件 /...

阅读更多

SIMD 优化

引入 接触到cv:atan2 的优化主要是SIMD,探索下SIMD优化的 SIMD介绍 SIMD 全称呼: Single Instruction Multiple Data 单指令多数据流,可以使用一条指令同时完成多个数据的运算操作。传统的指令架构是SISD就是单指令单数据流,每条指令只能对一个数据执行操作 TODO 参考 https://www.cs.virginia.edu/~cr4bd/3330/F2018/simdref.html https://leimao.github.io/blog/SSE-AVX-SIMD-Vectorization-Intrinsics/ https://zhuanlan.zhihu.com/p/583326378

阅读更多

c++ new T 和 new T() 的区别

主要区别就是 是否调用构造函数 new T:这种语法用于创建一个类型为 的对象,但不会调用默认构造函数进行初始化。对象的内存空间会被分配,但对象的成员变量不会被初始化,它们的值将是未定义的。你需要手动调用构造函数来初始化对象。 new T():这种语法用于创建一个类型为 的对象,并调用默认构造函数进行初始化。对象的内存空间会被分配,并且对象的成员变量会被默认构造函数初始化为其类型的默认值。 如果T是一个自定义类,它可能具有自己的默认构造函数和其他构造函数。如果你想确保对象的成员变量被正确初始化,可以使用 new T() 语法。但是,如果你想在创建对象后手动调用构造函数进行特定的初始化操作,可以使用 new T语法。

阅读更多