qkv矩阵的理解
QKV矩阵(Query-Key-Value matrix)是自注意力机制(self-attention)在Transformer模型中的关键组成部分之一。它被用来处理输入序列的信息并计算注意力权重。
在每个注意力头中,输入序列通过线性变换生成三个矩阵:Query矩阵、Key矩阵和Value矩阵。这些矩阵用来计算一个注意力分数矩阵,用于捕捉输入序列中不同位置之间的相关性。具体来说:
- Query矩阵:Query矩阵用于表示当前位置的特征向量,衡量当前位置与其他位置之间的相关性。
- Key矩阵:Key矩阵用于表示其他位置的特征向量,与Query矩阵进行比较以计算注意力分数。
- Value矩阵:Value矩阵用于表示不同位置的特征信息,与注意力分数相乘得到特定位置的加权特征向量。
通过将Query矩阵与Key矩阵进行点积运算,再经过归一化处理,可以得到注意力权重矩阵,该矩阵反映了每个位置对应的重要性。最后,将注意力权重矩阵与Value矩阵相乘,得到通过自注意力机制得到的最终特征表示。
QKV矩阵的引入使得Transformer模型能够捕捉输入序列中全局和局部的相互作用关系,从而有效地建模上下文信息。在自然语言处理领域,QKV矩阵被广泛应用于机器翻译、关系抽取等任务中。
人工智能和自动驾驶的区别
人工智能,是利用各种仪器和软件辅助驾驶者驾驶,而Google的无人驾驶,是利用程式代替驾驶者操纵车辆行驶。自动驾驶汽车(Autonomousvehicles;Self-drivingautomobile)又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人,是一种通过电脑系统实现无人驾驶的智能汽车。
机器智能将是人类意识进化的巅峰
这些未来预测中还有一个更深层次的意味:我们理想中完美的机器智能是这样的(虽然我们没有挂在嘴边):“ta”的形态不是人类般的血肉之躯,而是坚不可摧、数据化和让全人类臣服的智能机器。
一些人对这样的未来充满希望,认为是变革般的进步;而另一部分人则有被征服的畏惧与危机感。无论怎样,大家都认为机器智能将是人类意识进化的巅峰。
表面上看,推测宇宙中有智能机器人的逻辑是很可靠的。从当前科技技术进步的轨迹可以推断,随着计算机技术日臻完善,我们会对人类生物躯体构造和大脑架构逐渐失去兴趣。
时机一到,我们会迫不及待地涌入一个新的容器,以满足我们任何愿望,科技方舟带领我们走向康庄大道,到时我们创造出来的人工智能可能对我们无动于衷,也可能远超越我们,将我们降服甚至直接榨干我们。
埃隆·马斯克(Elon Musk) 和霍金(Stephen Hawking) 都曾公开警示过人工智能可能带来的风险。图源:extremetech
争议还没结束,有人说生物学并不能维持泛恒星文明或未来的人类文明。要探索宇宙,我们面临着巨大的坏境和时空上的挑战。想成为宇宙中的一个物种,所需要的各种实际驱动力可能要来自强大的机器,而不是精细调控但脆弱、寿命有限的蛋白复合物(译者注:暗指人类躯体)。机器能永久存活,自我复制,不受自然进化过程中易出错的遗传可变性束缚。这种自我设计的生命模式还能自适应各种环境,只需要一个世代,智能机器人就能自适应宇宙穹顶之下任意时间与空间(译者注:根据进化论与适者生存,人类或其他任何生物则需要几个世纪的时间才能慢慢进化适应变化的环境)。
将这些想法碎片拼凑整合在一起后,看起来人类只不过是宇宙中昙花一现的蓝图罢了。大家非常严肃对待这些分析,极具影响力人物如埃隆·马斯克(Elon Musk) 和霍金(Stephen Hawking) 都曾公开警示过人工智能可能带来的风险。同时,计算机科学家雷·库滋韦尔(Ray Kurzweil)也在书籍和各大会上也表示,未来人类将进入技术“奇点”,届时人类将与机器合二为一。
那么,生物真的变得越来越聪明和强大吗?生物性的聪慧真的是宇宙进化的死胡同,终将屈服于机器吗?
并不是这样的,故事到这里还没有结束。
关于“机器智能是未来最终王者”的流行学说,实际包含了很多致命的偏见和假设,使其不太可能成为现实。现在的计算机科技是否能带领我们至技术的“奇点”,或是否能指数量级地超越一个种族是尚未明确的。无论怎么样,未来还是很美好的。
《机器人自我复制理论》:该书描述了在一场指数级无可遏止的爆炸中,机器是如何毁灭所有妨碍其复制的生命。图源:AbeBooks
那些天马行空的想法可追溯到约翰·冯·诺依曼(John von Neumann)生前发表的一本有关机器自我复制的书籍《机器人自我复制理论》(Theory of Self-Reproducing Automata,1966)。这本书奠定了机器自我复制的概念,描述了在一场指数级无可遏止的爆炸中,机器是如何毁灭所有妨碍其复制的生命。诺依曼还描述了这种机器是如何模拟人类神经的功能行为的。
从该书发表以后的数年内,电子信息互联网的确对人类日常生活有重大影响,影响着我们决策、思考新命题或挑战的。在互联网信息时代里,我们都会还没试着去自己思考答案,或不耻下问咨询他人,就开始百度或谷歌问题。因为现在的智慧结晶已经上传到无所不在的云端数据库中了,单单个人广而浅层知识的重要性已经慢慢削弱,甚至个别行业的垂直专业重要性也会在互联网深化的过程中不断被减弱。
然而,我们未来的发展方向仍是不清楚的。一定要说些什么的话,可以说我们正走向一个蜂巢式状态,有点类似白蚁群落或裸鼠群体。不是进化得越来越聪明,而是我们生物最原始的内在驱动力受到了遏制,反而变得越来越被动了。悲观主义者会说我们人类思想停滞不前,成为群体中互相参照、互相提参考建议的一员,而不是变成指数级进化的天才们。
在传统计算机处理信息架构中,可能存在能量效率的“天花板”。
历史还告诉我们,我们是无法预测颠覆性技术带来的长期影响。举个简单粗暴的例子,17世纪末连续旋转蒸汽机对人类世界有深渊影响,这是没人能预测得到的;也没有人能预测150年以后内燃机和电气机的出现就让这些蒸汽机过时了一样。同样地,也没有人可预测碳氢化合物燃烧可能会通过改变地球大气层的组成危害到人类。
目前也没有证据表明,人类特有的智慧除了是几亿年以来进化的结局以外,还可以是什么,更不用说其是宇宙中最完美的物种了(公平地说,也没有证据说明我们人类是宇宙中的奇葩)。
结果是,通过推断我们自己的意识和智慧程度来预测外星人的智商和行动——或者及其群体,是非常困难的。
说着说着,就倒戈了:我们并没有变聪明,反而我们可能会变得越来越愚蠢,无法预测未来,我们不知道宇宙中存在着怎样的聪明的物种(如果有的话)。但我觉得还是有一线希望,正是因为这种自省精神,我们备受挫败,但仍着迷般地正视自己的文化和当前技术水平等残酷的现实。
其中一个现实是能量问题——诺依曼曾经说过,但这是那些未来学者经常忽视的问题。设计计算机时,有个关键因素:计算能力与能源使用情况,即“每次计算/焦耳”。
人类大脑以约20瓦特的速度耗能,在现有的计算机技术下,如果你想把自己完整无缺地上传至计算机,你所需的能量跟三峡水电站产生的电能差不多。图源:Giphy
随着微处理器变得越来越复杂,硅基架构越来越小(可以到数十纳米),效率仍在提高。 因此,每焦耳计算量的效率每一年都有进步。
而实际上这个比例每一年改善的空间越来越小。有研究者表示,在传统计算机处理架构内,我们可能遇到能量效率的“天花板”,比如基本乘法算法,这个天花板大概在10G/焦耳。
对于需要真正制造人工智能或上传大脑数据的机械来说,这潜藏了很大一个障碍。计算能力要接近人脑大脑(从速度和操作复杂度衡量)的话,估计所需要的能量效率要比这个限值超出10亿倍。
我们可以这么看,人脑以约20瓦特的速度耗能的。在现有的计算机技术下,如果你想把自己完整无缺地上传至计算机,你所需的能量跟三峡水电站产生的电能差不多。如果将全人类73亿多号人,全部上传至计算机上,至少需要14万瓦特的能量流,相当于太阳能达到地球顶部发电量的800倍。显然,想要超越人类上升到机器层面,还有很大一段距离。
有一个可能的解决方案是所谓的神经形态结构,模拟真实生物神经元及其连接性方面的硅基设计。乔治亚理工学院的珍妮弗·哈斯勒(Jennifer Hasler)等研究人员提出,如果设计得好的话,这种硅基的神经元系统(译者注:生物是以碳原子为基础,碳与硅是同一主族元素,化学性质相似)可以将所需能量降低至少4个数量级。不幸的是,即便有这么大的进步,要达到人脑的水平效率还差10万倍的能量。
当然,计算机技术的历史上,人类逐年克服了曾经以为难以逾越的障碍,所以大家对未来仍然比较乐观。但关键是,结局不是给定的。很可能我们为了去捕捉人类大脑的复杂性,大脑灰质密度和超常的效率等等,才发现硅和其他相似的原子根本都不是答案,无论它们如何修饰或堆砌在一起可能都无法达到我们预期的结果。
英国物理学家戴维·多伊奇。图源:The New York Times
乐观的技术宅最喜欢的替代方案就是调用量子计算,利用原子或原子体系之间的量子重叠态以替代传统的计算机晶体管。他们认为,量子叠加态的思维计算能力或可以解决能源和速度问题,从此走上建立最强大脑的康庄大道。
至少从论文上看,一般概念上的量子计算机或图灵量子计算机是可能坐拥无限的有效计算能力。英国物理学家戴维·多伊奇(David Deutsch)在他的论文“量子理论,邱奇-图灵原理和通用量子计算机”(Quantum Theory, the Church-Turing Principle and the Universal Quantum Computer,1985)中,精辟巧妙地提出这一想法,值得注意的是,他留下了完成这一壮举的细节,让读者浮想联翩,想去揭开谜底。
理论上,真正适用的量子计算机是可以模拟任何有限物理系统(包括头脑)或其他量子计算机所期望的任何精度。量子化的进程还可以让这种模拟批量运行,概率测试也可以超速完成。然而,尽管近年来人们已取得了巨大的实验室和理论进步,这理论在实际操作仍是困难重重的。日前,虽然人们提出过量子计算应用(例如语境化搜索)可能与“认知计算”(现在许多人工智能的当前运作的缩影)完全吻合,但离真正的人工智能还很远,关于任何一种拟人AI的争论还有很多。
我们可能生活在过去物种所憧憬的未来宇宙之中。
支持计算的基本单位——可能以冷原子或其他量子物体形式出现的量子比特—— 也许只需要很少的能量。但是,将量子计算机的组件保持在一致性状态(即所有这些量子状态都控制地很好)就需要巨多额外的能量,并且总依赖于大量的支持系统和工程技术,这些支持系统和工程也会消耗能量。目前我们甚至还不清楚,量子计算真实所需要的能量到底是多少。
还有其他因素也同样令人担忧。“n”量子比特的量子计算机可以在一个周期内执行2n个计算,但是设置这些计算是巨大的数据流工程。通过计算,模拟我们整个宇宙中约1089个粒子和光子可能只需要296个量子比特,但是如何进入1089这个初始条件?更难的是,如何从量子模拟中挑选出正确的解决方案?模拟一个人的大脑可能会更容易一些,但仍然需要量化并启动至少1014个神经联结(人脑中大致一个数字)来建立计算。然后呢,我们还希望这个量子化大脑具有非常高的吞吐计算量,有与世界保持高分辨率、高保真感官界面。这又是另一个未知的,很可能无法克服的挑战。
好吧,我可能太过简化了现有可被利用的技术手段。我对未来的看法也许太有限。无论怎样,我认为社会对仿生AI的乐观预测有越来越针对性的反响是有缘由的。我们需要承认,尽管与人类智商相当或超过人类的AI是可能诞生,但它可能无法实现人们经常提出的指数量级计算的增长能力。
换句话说,指数级的完美AI从数学角度上是没有破绽的,但实际面临的障碍或是不可逾越的。
说到这儿,我会(假设性地)从未来主义者口中选一些内容,做出一些疯狂的推论。我想探讨如果我们将机器智能增长缓慢的概念与费米悖论的问题结合起来,会发生什么。这样做很有趣,但所需的信息量也很大。
我们来假设宇宙中某高智商物种已成功地将自身转化为机器形式,或者被比他们进化程度更高更、并不是指数级进化的机器智能所取代。那接下来会发生什么?
由于这些智能机器受到效率限制的影响,他们有可能会温故而知新,想用过去手段变出新法子来向前继续推进。 他们知道的一件事(就像我们已经知道那样)就是生物学的体系,其已经是非常完善的。有研究人员估计,现代人类的大脑处于其计算的极限,但可能只需要一个稍微更聪明一点点的机器重新设计这样一个复杂的器官。换句话说,可能有一个更好的方法,能从机器智能回到生物学上,并有着更非凡的能源效率。
我们也不能保证机器智能必定是或可能是完全合理。为研究复杂宇宙相,数学本身含有不可证明的定理,一点点不可解都可能是成为致命的绊脚石。现在,我们时不时就推测,智能化未来会以硅或量子形式到来——这些我们认为优于的某种其他形式。照着葫芦画瓢,那么那些机器可能也出于能量效率问题,或者由于其他我们无法想象或理解的原因,想再次回归生物学形态。
图源:Imgur
如果生命是恒久不衰的,且最终形成更智能的形式的话,那么我们可能生活在过去生命物种所预测的未来之中。宇宙是138亿岁,而我们星系更是亘古久远;在过去130多亿年,恒星和行星已逐渐形成。有理由相信宇宙在我们太阳系诞生之前的80亿年左右肯定发生了些有趣的事儿。有一天,我们可能又会认为地球上的智能未来需要生物学,而不是机器算法。过去数十亿年前的无数生命可能已经经历了过这个阶段。
那些早期的高智商生命物种可能早就达到了他们决定从机器转移到生物学的阶段。 如果是这样,我们又回到了费米悖论:那些外星人现在在哪里?一个简单的答案是,他们可能受到星际过渡期的极端困难束缚,特别是在物理、生物学上的束缚。 也许这些早期生物物种还在,但回归生物学形态的代价,意味着得重新回归孤立的状态。
有些机器智能可能已经在想回归生物形态,想在巨大的星际空间中恢复到从前的孤岛状态。
KIC 8462852这颗恒星位于天鹅座,距离地球约1,480光年。图源:维基
那些早期的物种可能曾经建造了很多大型建筑,已在恒星上部署过巨大的宇宙工程。也许有些东西还在那里,也许我们正在用不断改进的天文设备来检测其中的一些东西。KIC 8462852是最近一颗令人振奋的恒星,其发光变化模式暂时不能用已知的自然机制来解释,就是说我们现有仪器敏感度还不足以对其作出解释。也许外太空文明已经退变回生物形态,其机械时代的建筑遗迹还残留着,在严酷宇宙辐射环境下,受到长期干燥蒸发与恒星的爆炸等崩塌了。
我们现在的状态可能是处于第一代机器智能与下一代机器智能之间。任何机器智能或其他更进化的物种在星系中的可能只是稍瞬即逝的星际原力之一;可能最后一个已经消失了,下一个可能还没有浮出水面,可能没有时间来我们这参观,也可能已经在想着回归生物形态,在伟大的星际空间大洗牌中回归孤岛的状态。 我们自己的技术未来可能看起来也会像这样——从幻想成为机器又回到更宁静地,更有效率的有机生物存在形式。
我们要承认这些想法的确是过于魔幻,但提出这些想法本身对我们已经有一些特别启示:我们正在研究自己可能的未来。可以想象,宇宙已经告诉我们这些选择是什么了。这种自我反思自我审查的行为已经有别于人类任何其他行为,这一点就值得我们继续去深入关注下去了。
运动仿真怎么翻译成英文
The Application of KINEMATICAL SIMULATION of NC Electrochemical and Mechanical Polishing Surface in Teaching
数控机床电解抛光运动仿真在教学中的应用
MOVEMENT SIMULATION and optimization on lifting mechanism of tipper under virtual environment.
虚拟环境下自卸车举升机构的运动仿真与优化
MOTION SIMULATION and experiment of a novel modular self-reconfigurable robot.
一种新型模块化自重构机器人的运动仿真和试验
虚伪.只是保护自己的一种 英文翻译
Hypocrisy, just a way to protect themselves
下次自己去在线翻译.