Abstract 摘要
[!abstract] 摘要
Orbit（现名IsaacLab）是一个由NVIDIA Isaac Sim驱动的模块化框架，用于机器人学习。
提供了逼真场景（photo-realistic scenes）和高保真刚体与软体模拟（high-fidelity rigid and deformable body simulation）。
包含多种难度的基准任务（benchmark tasks），如单阶段橱柜开启、叠衣服到多阶段任务如房间重组。
支持多种观测和动作空间（observations and action spaces），包括固定臂和移动机械手，以及基于物理的传感器和运动生成器。
利用GPU并行化，几分钟内就可以训练强化学习策略或收集大型演示数据集。
开源框架，包含16个机器人平台、4种传感器模式、10个运动生成器、20多个基准任务和4个学习库的包装器。
I. Contribution 主要贡献
[!Success] 主要贡献
设计了一个统一的、模块化的开源框架，利用最新的模拟技术，实现逼真场景和高保真物理模拟。
提供了包含不同机器人和传感器模型的 ...
Abstract 摘要
[!Abstract] 研究背景
高分辨率光学触觉传感器在机器人学习环境中越来越受欢迎
触觉机器人平台、专业模拟软件和缺乏通用性的sim-to-real方法的成本很高
[!Todo] 研究目的
扩展Tactile Gym模拟器，包括三种新的光学触觉传感器（TacTip、DIGIT和DigiTac）
证明单一的Sim-to-Real方法可以用于这些不同的传感器以实现强大的现实世界性能
Contribution 主要贡献
[!Success] 主要贡献
Tactile Gym扩展：将Tactile Gym从单一触觉传感器扩展到三种低成本、高分辨率光学触觉传感器。
实验验证：在三个需要触觉的物理交互任务（物体推动、边缘跟随和表面跟随）上验证了扩展环境。
Object Pushing
Edge Following
Surface Following
降低门槛：通过适配到一个便宜的4-DoF机器人臂(DOBOT MG400)上，进一步促进了这一基准的传播
Relative Work 相关工作
[!example] 相关工作
DRL in Tact ...
安装 Isaac Sim基础工作1. System Requirements 和 Isaac Sim Driver Requirements检查电脑系统、硬件和显卡驱动是否达到最低标准
2. 下载 Omniverse Launcher3. 安装 Omniverse Launcher4. 在 Omniverse Launcher 里安装 Cache5. 在 Omniverse Launcher 里安装 Nucleus6. 在 Omniverse Launcher 的 Exchange 里安装 Issac Sim配置Issac Sim环境变量1234# Isaac Sim root directoryexport ISAACSIM_PATH="${HOME}/.local/share/ov/pkg/isaac_sim-20xx.x.x"# Isaac Sim python executableexport ISAACSIM_PYTHON_EXE="${ISAACSIM_PATH}/python.sh" ...
0 Abstract0.1 Contribution
贡献一种事件驱动 Event-Driven 的 视觉–触觉 Visual-Tactile 传感系统
提出一种生物启发 Biologically-Inspired 的触觉传感器
多模态 Multi-Modal 基于脉冲 Spiking-Based 的学习方法 VT-SNN
首次开源基于事件的视触数据集
0.2 Pro
结合事件传感器，快速感知
智能节能机器人 Intelligent Power-Efficient Robot Systems
1 Introduction1.1 Background
E.g. 从冰箱里拿一盒豆浆 (1)
人类通过 视觉–触觉 来操作，但是人脑比起 DNN 节能 [2], [3]
生物系统：异步，事件驱动 Asynchronous & Event-Driven
事件驱动的感知：节能且低延迟 Power-Efficiency & Low-Latency [Intel Loihi 芯片]，对实时机器人系统友好
事件驱动的系统研究尚在研究
1.2 Algorithm
训练 VT-SNN 是 ...
2.1数据操作2.1.5 节省内存
⽤X[:] = X + Y或X += Y来减少操作的内存开销12X[:] = X + YX += Y
2.2 数据预处理2.2.1 读取数据集123456789101112# 写入数据import osos.makedirs(os.path.join('..', 'data'), exist_ok=True)data_file = os.path.join('..', 'data', 'house_tiny.csv') # ../data/house_tiny.csvwith open(data_file, 'w') as f: f.write('NumRooms,Alley,Price\n') # 列名 f.write('NA,Pave,127500\n') # 每⾏表⽰⼀个数据样本 f.write('2,NA,106000\n')# 读取数据集im ...
摘要
提出一种基于视触融合的深度神经网络 (VTF-DNN) 感知算法
用以检测在机器人抓取和操作过程中发生的抓取物体和夹具之间的滑动现象
不同的抓取位置和力度来抓取不同的物体，收集视觉和触觉序列数据构建视触融合数据集
触觉数据：安装在夹具上的阵列触觉传感器采集
视觉数据：腕部相机采集
某个未参与训练的物体上进行了滑动测试
共进行了464次抓取，采集了2320个视觉和触觉序列样本，分类准确度达92.6%
0.背景
[!] Important：灵巧机器人的应用场景，当抓取力度不足或者抓取策略不当时，机器人抓取操作处于不稳定状态，并通常伴随着滑动现象。滑动检测可以在抓取过程中协助机器人调整抓取力度和策略以保证抓取的稳定性。
[I] Idea：真实环境中抓取物体较复杂，因此高精度高鲁棒性的滑动检测算法仍然是个值得研究的课题。
[?] Question：通过检测滑动判断抓取的稳定性及在保证稳定性的前提下尽可能减少抓取力度，从而实现更加灵巧和精确地抓取控制。
[i] Related Work:
文献[8]提出通过感应振动来检测滑动的触觉传感器，可用作灵巧手的指尖。
文献[9]测量接触 ...
效果预览default
info
success
error
warning
bolt
ban
home
sync
cogs
key
bell
自定义font awesome图标
标签外挂12345678910111213{% tip %}default{% endtip %}{% tip info %}info{% endtip %}{% tip success %}success{% endtip %}{% tip error %}error{% endtip %}{% tip warning %}warning{% endtip %}{% tip bolt %}bolt{% endtip %}{% tip ban %}ban{% endtip %}{% tip hom ...
RobotMail
未读1. 序
暑假过去大半才想起来没有写学期小结（嘻嘻）
原来有人前两天才放假啊？
原来有人放假休息两天又开始干活啦？
是哪个倒霉蛋呢？
原来是我啊……
就让大怨种再来回忆一下上学期吧！就要和大二挥手告别了呢！
2. 学业杂谈2.1 设计与制造 首先是设计与制造这门课，又爱又恨的一门课。
唉！此话怎讲呢，这门课的中文前身应该是机械设计原理吧（大概是这个名字），形式上也保持一致，上好几个学期，但是内容部分我是一点都没兴趣，基本上是在讲加工方法（对，你没有听错，就是金工实习的内容的理论方面），是真的条条框框一点都不想看，我好恨啊啊啊啊啊！！！！
但是这门课依旧延续了之前工程导论的风格，每组给予2.5k经费制作课设，但是与往常有所区别的是设计遥控发球的机器人，整体来说还是有些新意的。
深夜调试ing（连个学院大厅的灯都不开，太抠了）
单纯从课设的角度来说，这门课还是有意思的。
但从自己的角度来说，作为弹道滑轨设计者严重失职，导致最后成绩非常差。没有考虑到滑轨上左右震动以及摩擦轮弹口的初速度不可控，导致我们 ...
RobotMail
未读1. 序
时间依旧过去的很快，悄然间这是此处的第三封信。
过年嘛，杂事就是比平日里在学校的多，当然了今年比较特别，多了一些店里的事，还有爸妈之间的事。
既然一时半会不能完全解决，就想着不如先把这封信写了。
权当作辞旧迎新之意。
老习惯，依旧是先贴一张上学期的课表。
大二上的课表依旧很空，没有几门专业核心课程吧。简而言之，四门主课：机器视觉与传感器系统，大物下，概率论与数理统计，固体力学导论。
狗头
庆幸的是，这学期的课压力不大，全部拿到满绩还算轻松。
2. 学业杂谈2.1 机器视觉与传感器系统先来说说机器视觉与传感器系统这门课，是我还未开课前就仰慕许久的课程，也很开心老师最后给了我一伯分。这门课由于是3学分的课，再加上分为视觉与传感器两个部分，所以整体上课程深度不高，更像一种广度的通识教育。
第一部分：视觉。这部分暂时学习的东西由于广度原因是仅针对于最基本的图像处理。从传统的Canny算法边缘检测开始，详细介绍了算法的细致流程，梯度计算，合成x、y方向梯度（求模），Non-Maximum Suppression（非极大值抑制 ...
