0 Abstract0.1 Contribution
贡献一种事件驱动 Event-Driven 的 视觉–触觉 Visual-Tactile 传感系统
提出一种生物启发 Biologically-Inspired 的触觉传感器
多模态 Multi-Modal 基于脉冲 Spiking-Based 的学习方法 VT-SNN
首次开源基于事件的视触数据集
0.2 Pro
结合事件传感器,快速感知
智能节能机器人 Intelligent Power-Efficient Robot Systems
1 Introduction1.1 Background
E.g. 从冰箱里拿一盒豆浆 (1)
人类通过 视觉–触觉 来操作,但是人脑比起 DNN 节能 [2], [3]
生物系统:异步,事件驱动 Asynchronous & Event-Driven
事件驱动的感知:节能且低延迟 Power-Efficiency & Low-Latency [Intel Loihi 芯片],对实时机器人系统友好
事件驱动的系统研究尚在研究
1.2 Algorithm
训练 VT-SNN 是 ...
2.1数据操作2.1.5 节省内存
⽤X[:] = X + Y或X += Y来减少操作的内存开销12X[:] = X + YX += Y
2.2 数据预处理2.2.1 读取数据集123456789101112# 写入数据import osos.makedirs(os.path.join('..', 'data'), exist_ok=True)data_file = os.path.join('..', 'data', 'house_tiny.csv') # ../data/house_tiny.csvwith open(data_file, 'w') as f: f.write('NumRooms,Alley,Price\n') # 列名 f.write('NA,Pave,127500\n') # 每⾏表⽰⼀个数据样本 f.write('2,NA,106000\n')# 读取数据集im ...
摘要
提出一种基于视触融合的深度神经网络 (VTF-DNN) 感知算法
用以检测在机器人抓取和操作过程中发生的抓取物体和夹具之间的滑动现象
不同的抓取位置和力度来抓取不同的物体,收集视觉和触觉序列数据构建视触融合数据集
触觉数据:安装在夹具上的阵列触觉传感器采集
视觉数据:腕部相机采集
某个未参与训练的物体上进行了滑动测试
共进行了464次抓取,采集了2320个视觉和触觉序列样本,分类准确度达92.6%
0.背景
[!] Important:灵巧机器人的应用场景,当抓取力度不足或者抓取策略不当时,机器人抓取操作处于不稳定状态,并通常伴随着滑动现象。滑动检测可以在抓取过程中协助机器人调整抓取力度和策略以保证抓取的稳定性。
[I] Idea:真实环境中抓取物体较复杂,因此高精度高鲁棒性的滑动检测算法仍然是个值得研究的课题。
[?] Question:通过检测滑动判断抓取的稳定性及在保证稳定性的前提下尽可能减少抓取力度,从而实现更加灵巧和精确地抓取控制。
[i] Related Work:
文献[8]提出通过感应振动来检测滑动的触觉传感器,可用作灵巧手的指尖。
文献[9]测量接触 ...
效果预览default
info
success
error
warning
bolt
ban
home
sync
cogs
key
bell
自定义font awesome图标
标签外挂12345678910111213{% tip %}default{% endtip %}{% tip info %}info{% endtip %}{% tip success %}success{% endtip %}{% tip error %}error{% endtip %}{% tip warning %}warning{% endtip %}{% tip bolt %}bolt{% endtip %}{% tip ban %}ban{% endtip %}{% tip hom ...
RobotMail
未读1. 序
暑假过去大半才想起来没有写学期小结(嘻嘻)
原来有人前两天才放假啊?
原来有人放假休息两天又开始干活啦?
是哪个倒霉蛋呢?
原来是我啊……
就让大怨种再来回忆一下上学期吧!就要和大二挥手告别了呢!
2. 学业杂谈2.1 设计与制造 首先是设计与制造这门课,又爱又恨的一门课。
唉!此话怎讲呢,这门课的中文前身应该是机械设计原理吧(大概是这个名字),形式上也保持一致,上好几个学期,但是内容部分我是一点都没兴趣,基本上是在讲加工方法(对,你没有听错,就是金工实习的内容的理论方面),是真的条条框框一点都不想看,我好恨啊啊啊啊啊!!!!
但是这门课依旧延续了之前工程导论的风格,每组给予2.5k经费制作课设,但是与往常有所区别的是设计遥控发球的机器人,整体来说还是有些新意的。
深夜调试ing(连个学院大厅的灯都不开,太抠了)
单纯从课设的角度来说,这门课还是有意思的。
但从自己的角度来说,作为弹道滑轨设计者严重失职,导致最后成绩非常差。没有考虑到滑轨上左右震动以及摩擦轮弹口的初速度不可控,导致我们 ...
RobotMail
未读1. 序
时间依旧过去的很快,悄然间这是此处的第三封信。
过年嘛,杂事就是比平日里在学校的多,当然了今年比较特别,多了一些店里的事,还有爸妈之间的事。
既然一时半会不能完全解决,就想着不如先把这封信写了。
权当作辞旧迎新之意。
老习惯,依旧是先贴一张上学期的课表。
大二上的课表依旧很空,没有几门专业核心课程吧。简而言之,四门主课:机器视觉与传感器系统,大物下,概率论与数理统计,固体力学导论。
狗头
庆幸的是,这学期的课压力不大,全部拿到满绩还算轻松。
2. 学业杂谈2.1 机器视觉与传感器系统先来说说机器视觉与传感器系统这门课,是我还未开课前就仰慕许久的课程,也很开心老师最后给了我一伯分。这门课由于是3学分的课,再加上分为视觉与传感器两个部分,所以整体上课程深度不高,更像一种广度的通识教育。
第一部分:视觉。这部分暂时学习的东西由于广度原因是仅针对于最基本的图像处理。从传统的Canny算法边缘检测开始,详细介绍了算法的细致流程,梯度计算,合成x、y方向梯度(求模),Non-Maximum Suppression(非极大值抑制 ...
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick StartCreate a new post1$ hexo new "My New Post"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites1$ hexo deploy
More info: Deployment
RobotMail
未读1. 序 不知不觉离上次写小记已经过去六个月,不长也不短。
寒假回家前,在校最后一夜,收拾行李还是拿了许多“杂书”,虽然知道自己可能不会坚持看完,但是有些只是为了重复读某些昔日反复翻阅的部分,这就足以。
“小舟从此逝,江海寄余生” 开学快乐! 长江大桥上
而至于寒假开学之前,我走过之前许久没经过的路口,熟悉的感觉再一次涌上心头。
寒假很短,我也并没有特别用功读书,可能只是我一直秉持着的“习惯”:放假就应该读些自己喜欢的书,做自己喜欢的事。
和许久不见的高中好友憨憨地打电动,就算乌龙球也很快乐;为了两杯茶颜悦色,几个小时也不觉得漫长;习惯粤式风味的我,还是吃了海底捞红油锅。有些事情变了,我也在变,但是就在某些时刻,总会悄然放下身上的事情或者担子,像一个少年一般,做些幼稚但是可爱的事情,不计较得失,对我来说实在是mean too much。
就在我还没准备好新学期的时候,各种课设已经开始提上日程。
2. 课业小结 上个学期的课主要还是偏向软件方向,老规矩,贴一张机器人班的课表~
2.1 大学物理 Phys ...
RobotMail
未读 哈啰哈啰,鸽王又来了,这次更新的是第一个学期在机器人的种种想法和学习生活。
1. 学习状态 首先我想聊一聊的是关于学习状态。
相对于新班级那些刚从高考战场凯旋的同学,我学习并没有特别努力和上心。可能也是作为大二老油条的坏处吧。
之前常常听着学长学姐说,转完专业的你那个时候应该是站在一个更高的起点开始的,希望不要从这个起点开始走下坡路,要继续保持转专业前的奋斗状态。
就在前不久,成绩陆陆续续在教务有了结果。危机分(微积分)让我警醒了不少,感觉自己确实有点高估了学习水平。我意识到自己总是一个特别的经验主义者——往往会以一种特殊的心理(我想可能与自负有关的心理)去看待一门降转后的学科,结果往往也不太好。
我想对于降转而言,唯一一个大忌就是高看自己。
在我身上,这种心理让我忽视学习的渐进性,幻想着自己可以以相对较少的气力就可以解决学习。
此外,它仿佛还带来了一种特别的后果——跟初学者相比,学习失去了新鲜感引导的不断学习。
可能从潜意识里,我开始觉得学习是为了应付冷冰冰的考试,而不是想着我真的能学到什么东西,可以将这 ...