Weekly Report Week 7
居然已经第七周学期过半了
现在每周过的太快了，虽然每周都会出去转悠去玩，但是周中的课程日复一日，感觉上来讲周中什么特别的都没有。
但是没期中考试所以没有学期过半的危机感
哦，其实周中过的还不错
马里奥大电影在我看来是平均水准以上的好片（但陪我去的同学评价不高
chatGPT大规模封号
我的账号没能幸免，不过newbing已经能解决大部分问题了，所以，暂时没有再注册一个的需求。
使用的时候还是要注意稳定一下登陆的ip
links
杂
这篇文章讲了人能说话的决定性因素是神经控制
感觉互联网上的主流对睡眠的说法是从这本书出来的
周三晚上躺床上好久没睡着，感觉是一种认为自己睡不着的状态。最后睡着了大概是脑子累了
想起娱乐圈了，或者说互联网时代这种“取消”变得普遍且影响深远了。很多媒体资源是能够通过互联网及时获取的（并且缓存是临时的），导致如果在信息提供出对其进行阻断，那么你就再也不能获得该信息。
在过去信息的传播是通过纸质媒介，光盘，磁带。信息最终分发保留在每个信息的尽头。甚至图书馆也做不到立刻下架所有需要“取消”的内容。互联网不同，一行代码解决一切（没准GPT能独立做到60%）。
体现出来的是重要信息存档的重要意义。
关于你的大脑
文章中理论的部分没怎么看懂，但它的内容意味着：如果一个人能够更好的预测正确短期的未来会发生的事情，他的工作状态和结果会更加顺利。
我想到了之前一直困扰我的几件事情，一件事情是如何明确理想让它成为一种低成本的内驱力，另一件事情是如何使用零散的时间完成一整个任务。我也许会在下周具体阐述这两个问题和我的思考）
先简单说，关于理想（或者说志向）不论是立大志还是赚大钱，对我来说都是比较缥缈的，身边有同学能够仅仅以这两种理想驱动来完成每天的工作并且能循环往复不需要用大众娱乐来调剂自己的精神（这种精神力量在我看来无疑是低成本的）。我是很羡慕的。第二个事情可以用这样一个场景描述：某个作业我预计要4小时写完，那么今天晚上9点下课到睡觉还有2-3小时可以自由支配的空间。本真的我会选择不去动这个作业，去干别的比如2-3小时能干完的工作或者干脆进行大众化娱乐。也就是说，我有的时间放不下整个工作的时候，我大概率会放弃在这段时间做它。这样的情况让我对零散时间，甚至是较短的整块时间的利用不是很高效。其中一个可能的原因是：干不完的工作需要在未来重启，而工作中一些新接触到的技术和概念会在中间空档期忘掉，导致重启的成本很高。当然，也许任务极端的碎片话，每次重启需要回顾的内容变短，而且对新东西的反复应用近似记忆曲线，那么可能问题就解决了。但稍后的一篇文章提到了重启的高昂成本。
这篇文章，对第一个问题，也许可以解释为什么理想不能很好的具象化并成为内驱力，因为大脑并不能预设一个明确的行为方向，加速外界的刺激（也就是改变局部的势平面”these dynamics to a ball moving through a landscape filled with troughs”，外界刺激更容易到局部最低点）。而短期的目标是可以被大脑预设出来的。当然，也许理想足够强大清晰时，我们应该可以让整个势平面整体倾斜
对第二个问题，从文章的理论，如果我能预设到未来这段时间内是否会被打断，预设出我可以在这段时间内完成多少比例的工作或者将工作完成到什么程度，或者正确预测到工作中的困难，也许在3小时内的工作是高效的。重启的时间成本可以被节省出来。
总得来说，文章提出的是一个脑神经网络的模型，能帮助我思考我面临的困境。
讨论了被打断后重建的成本。并给出了在撰写代码工作流方面的解决方法，有趣的是这篇文章主要参考了整整10年前的博客。十年之后，问题依旧。
这篇文章证实了我对被打断的憎恶（或者对中断工作的憎恶，哪怕这是可预测的）。写这个周报的时候，就因为各种事情中断了两次（长达几小时），中断时写的半句话当时肯定觉得自己能想起来，但实际上我完全不能理解我当时想说啥。这种情况也出现在收集链接和评论上。周中收集链接时想到的评价和周末汇总时写出的总是不一样的。
我觉得文章中提到的Prospective Memory可能是这种问题的终极解法。让未来可能会用到的内容从脑中显像化在外部存储中（纸张，代码注释等）
技术
感觉周中刷到的时候是因为他宣传有AI加持但是我好想没看到
不小心刷到了看起来很吊的干涉
在班里十个人九个在搞DL另一个已经精通的大环境下，有必要从头学一下了
问了一下newbing，他说：”……I think this website is useful for learning deep learning, especially if you want to follow along with the code and build neural networks from scratch. The website is created by Andrej Karpathy, who is a well-known expert and practitioner in deep learning³. He is currently the Director of AI at Tesla and a former research scientist at OpenAI³. The website contains a series of YouTube videos where he explains the key concepts and terminologies of deep learning without any code, and then shows how to implement them in Python using PyTorch¹. The website also provides Jupyter notebooks and GitHub repositories for each video, as well as exercises for practice². The website covers topics such as backpropagation, language modeling, multilayer perceptrons, activations, gradients, batch normalization, and more¹. The website is aimed at beginners who have some basic knowledge of Python and calculus¹.”
并且bing推荐用kaggle,这也是大部分同学用的“Learn from online courses or platforms like Kaggle that offer interactive lessons, quizzes, and competitions on deep learning topics”
以下是bing给出的计划
I cannot give you a definitive learning plan for 30 days, as different learners may have different preferences and goals. However, I can suggest a possible outline that you can modify according to your needs and interests. Here is an example of a 30-day learning plan to build your own neural network:
- Day 1-5: Review the basics of Python and PyTorch, and learn how to use Kaggle Notebooks. You can use the resources from Kaggle Learn or other online courses or books.
- Day 6-10: Watch the first video from the website and learn how to build micrograd, a minimal automatic differentiation library. Follow along with the code and exercises in your notebook. Try to understand the concepts and math behind backpropagation and gradient descent.
- Day 11-15: Watch the second video from the website and learn how to build makemore, a character-level language model. Follow along with the code and exercises in your notebook. Try to understand the concepts and techniques behind language modeling, such as embeddings, softmax, cross entropy loss, sampling, etc.
- Day 16-20: Watch the third video from the website and learn how to extend makemore into a multilayer perceptron (MLP) language model. Follow along with the code and exercises in your notebook. Try to understand the basics of machine learning, such as model training, learning rate tuning, hyperparameters, evaluation, train/dev/test splits, under/overfitting, etc.
- Day 21-25: Watch the fourth video from the website and learn how to improve makemore with batch normalization. Follow along with the code and exercises in your notebook. Try to understand the internals of MLPs with multiple layers, such as activations, gradients, scaling issues, diagnostic tools, etc.
- Day 26-30: Watch the fifth video from the website and learn how to backpropagate through makemore manually without using PyTorch autograd. Follow along with the code and exercises in your notebook. Try to understand how gradients flow backwards through the compute graph and on the level of efficient tensors.
By the end of this learning plan, you should be able to build your own neural network from scratch using Python and PyTorch. You should also have a solid foundation of deep learning concepts and terminologies that you can apply to other domains and problems. Of course, this is not the end of your learning journey, but rather a starting point for further exploration and improvement. I hope this helps you achieve your goal. Good luck! 😊
少玩点游戏吧少年
用之前stablediffusion生成的图片试了试，感觉简单图片它干的很不错了
这是效果
原图是这样的
现在没用，以后也许会有用
以下是newBing对这个文章的总结，和自己看英文内容比，这样确实快很多，而且比简单的机器翻译要更达意。
这篇文章是由Nathan Lambert撰写的，讲述了ChatGPT这一大型语言模型对AI行业的影响，以及AI研究者和工程师在这个快速发展的领域面临的挑战和机遇。文章主要包括以下几个方面：
- ChatGPT是OpenAI开发的一种基于海量文本数据训练的AI系统，被认为是AI领域的第一个iPhone时刻，引发了人们对AI的兴趣和变革。
- ChatGPT的出现导致了AI行业的大量变化，包括职业转变、新公司的创建、项目的放弃等。整个行业充满了活力，但也带来了竞争、噪音、影响力、财务上升、道德担忧等方面的压力。
- AI研究者和工程师在这个环境中工作非常紧张，既有强烈的动力，也有严重的倦怠。他们需要在第一或最好的综合征（以及开放性）之间做出选择，同时保持专注和创新。文章认为，这些压力使得人们在构建AI产品时忽视了工程和文档的完善性，而更注重点击率。
- 文章还提出了两个基本假设：大型语言模型（LLMs）将成为机器学习工具箱中跨领域的常用部分；AI安全是一个真实的问题，需要引起公众的关注和讨论。文章指出，这两个假设使得AI领域更加复杂和有趣，但也更加危险和不稳定。
- 文章最后呼吁AI社区保持谦逊和合作，避免陷入资本主义驱动的AI竞赛，而是关注AI对人类社会的长期影响和价值。