某网友:舞台交给你,舞台交给你,说点就从专业性出发,不要就是说点有的没的,讲。
户晨风:就是只谈这个蒸馏,就是说原本过去AI的训练是基于说我们有一些数据,然后人工给予一些标签,然后我们让模型去学习。然后但是呢,有人提出就是说我们可以先训练一个大模型,然后再在这个现有的数据上让他去训练,训练了完了以后,这个AI判断的结果也就是说它本身就带有一定的信息。举个例子,比如说原本我们对于一个分类任务,就假设有一个是苹果。
某网友:说点人话,听不懂,最简单的比喻,说给小学生听的。
户晨风:如果最简单的比喻就是说,让一个有知识的老师去教一个学生,但是这个过程中本身不需要就是说这个老师把自己的大脑给学生看,他只需要老师把自己的答案和结果写在黑板上就可以了。
某网友:厉害,这个比喻太厉害了。不愧是卡耐基梅隆的硕士。
户晨风:这才叫含金量呢,懂吗?这才叫含金量,刚才上面那个什么硕士,C语言里面星号P都不知道什么意思。接着说,这是真含金量,你这马上啊,那个什么世界500强,那个山毛特曼,如果你再看直播的话,马上给他发offer。接着讲。
某网友:当然另一点就是我得说,目前还没有论文就是能够论证一个模型真的去蒸馏了。所以说即使是一个模型真去蒸馏了,就是目前没有任何方法能去验证或者说去推论它是否存在。然后我就只能是从目前我了解的这个学术的角度去评价一个就是有可能但也没有办法去验证的,但是它是可以这么做的。就是这是目前的一个情况,也就是说就假设它蒸馏的,但是你无法证实它蒸馏了。
户晨风:对,就是因为现在你没有任何证据能够去任何就是研究方法能够去证实。
某网友:这一点那我可以明白你这个意思了,明白你意思了。
户晨风:好,还有什么想讲的?
某网友:没有了,就是如果你要是想了解更多蒸馏的话,我可以详细的去大概解释一下。
户晨风:来,我现在问一下你,来,你现在在美国做什么?
某网友:我现在是在做AI,也就是脑机接口方面的一些硕士研究。
户晨风:一年挣多少?
某网友:我还在上学呢,还没毕业。
户晨风:是研几?
某网友:研二,在马上毕业。
户晨风:行,好的,你毕业之后大概薪资多少?说实话。
某网友:我毕业现在没少的工作,毕竟不是这个对,就是虽然我的研究是这样,但是问题我的专业不是这样。
户晨风:来,我问你,就你的同专业的前面的这些学姐学长毕业之后大概能拿多少?
某网友:他们估计都去读博了,都读博了,所以基本都工资不高。
户晨风:但如果是计算机的话,那就...很高了,行好,感谢。来,我连下一个了。感谢世界排名QS前10的申请上卖。世界排名QS前10的申请上卖,QS排名50靠后的就不要申请上卖了,无论是硕博都不要申请了,这个含金量有一点低,好吧。来,咱们现在开始拉来QS排名前50的申请上卖,QS排名前50的申请上卖,来硕博申请上卖,硕博来下一个下一个。来,学历中科院硕士又来了又来了,就先打假。在哪条路上?好像是学院路。中科院有几个门?没有,我是中科院,他有几百个校区。我在深圳,在深圳校区是吧?来,你们校区你经常,你们校区主楼叫什么名字?我现在搜。还真没组的,我们校区就ABCDEF这几栋楼。说一个你们校区的地标,我现在搜。在深大旁边我知道,在深大旁边,你们校区里面的一个地标,无论你经常上课哪个楼,现在直说,我现在就要搜。我们那不上课的,你是干什么的?我是学生啊。我们第一年在北京上课,后面两年在深圳。OK,行好,算你是真的。来接着讲,现在是研究什么方向的?是多模态视觉的,就是研究音频文本还有图片这种视觉的。OK,硕士?对对。OK,讲嘛说嘛,然后我想说你说Deep Sake其实本质上像学术上支流,他的意思是说我是根据你说什么,我什么都没说完,我在听你讲话。就是他那真流其实是可以,你可以类似为就是说,我并不是学习他这句话的内容,就是说,我根据我把这个话作为一个我的一个学习的方向,我是把他说啊。没人讲话,没有人讲话在听你讲啊。不是啊,行行行行,没有人讲话,我在听你讲,书都讲好好,你怎么这么急啊?四千多个人等着呢,你怎么说一话怎么说一半就停啊?是啊,好心心,我可能比较有点不习惯,因为这有延迟。我让开是这样的,不用看画面,他这个他这个他这个真流实际上他是一个类似于,就是我一个很简单的描述吧,就比如说一个很大很强的模型,然后他已经学习到怎么去本类猫跟狗了。我就是解释一下真理,我感觉刚才那哥们讲的不是特别好,你说你讲啊你倒是讲啊,下一个吧,这个是假的,肚子里没有东西说不出来。这可是几千个人给他听着,你倒是讲啊,你说一半就不讲了,说一半不说了。来学校哪个学校的?喂喂喂,听得懂吗听得懂吗?学历学校学历学校,呃学历现在说是,然后学校上交,来来,这个必须得打假,以后上麦必须得接受打假,说不出来直接挂掉。你们食堂是叫啥名字?食堂叫什么名字?就是一餐二餐三餐四餐的学校。主楼叫什么名字?主楼没有主楼。你们地铁站最近的地铁站哪个站?地铁站有那个紫竹高新区和那个永德路。没问题,这是真的,这是真的好。说我觉得就是想说嘛,这个针流其实是可以针的,但是主要就是说什么呢,就是没有证据去证明这个这个deepseek有针流。OpenAI的数据虽然就是说,我现在让你讲针流这个事。针流这个事就是我很认同就是前面那个卡奈基梅隆那个之前那个人他说的嘛,就是差不多就是他讲的,就是一个老师。又是个假的,这又是个假的,那就是个假的。来说哪个学校什么学历?学校学历我去。苏黎世联邦理工呢,苏黎世联邦理工QS排名应该第七名吧。苏黎世联邦理工都来了,来我必须得打假啊,打假吧。来这个苏黎世联邦理工说英语还是说啥?说德语啊,苏黎世德语区。来你们学校几个门?学校很多校区啊,我在靠这个火车站那边的校区,不在主城区。校区叫什么名字?校区叫什么名字?我们那边用德语是这个什么,就在这个对对。对你现在不用打假了,你又不知道学历什么学历?博士啊,跟你讲了朱立杰茂雷公的博士。博士呃这个研究方向呃,AI大模型,AI大模型,好家伙,这全世界最顶级的AI人才啊。来本科那个学校的?本科北航的。北航呢,来北航在哪个校区的?北航就这个徐安路校区啊。你们学校最近的地铁站哪个地铁站?这个直车路还有西图城。那这个是没问题,最起码北航说对了。来讲吧嗯。就简单来说,我们现在的大模型的蒸馏它跟之前的蒸馏不太一样,我们现在是不需要模型开源才能蒸馏的。现在国内的各种无论是文心业还是豆包,都是在用包括比如说签问什么阿里的文心同意签问,都是在蒸馏 Chesspt的数据。它只需要去调用它的API,或者说在网页上去使用模型,你就可以把它的输出拿过来,然后用来训练OpenAI的模型来去做数据生成,所以这我们也叫这样的一个模型蒸馏的过程。所以说这个DeepSeq它其实是使用了OpenAI的欧版模型来去蒸馏。我想问一下蒸馏这个东西来讲,它是一个中性词还是一个贬义词还是一个什么?它就是中性词啊,就我觉得。就蒸馏它是一个中性词?对,它是一