简述CPU缓存设计原理

什么是CPU硬件缓存？

CPU硬件缓存是一个较小的内存，位于靠近处理器的地方，它存储最近引用的数据或指令，以便在需要时能够快速检索它们。通过减少访问较慢的主内存的代价高昂的读和写，缓存对CPU的性能有着巨大的影响。几乎所有的现代处理器都使用某种形式的缓存。

第一个缓存是片外缓存，或外部缓存。它们很快就被片上高速缓存存储器所取代，这些存储器通常是由SRAM制成的。为了进一步提高性能，这些片上缓存被分成指令和数据分区。

时间局部性

时态局部性是指在短时间内对特定数据项进行重用。这取决于这样一个事实：在处理器上运行的程序往往在短时间内使用相同的变量和数据结构。

空间局部性

算法局部性

有三种主要的方法来组织缓存：

全结合

直接映射

集结合

缓存块

当CPU需要访问主内存中的项时，它使用一个地址来定位该项。CPU硬件缓存通常工作透明，这意味着程序员不必以任何方式确认缓存。因此，用于访问内存的地址首先由缓存处理。此地址用于标识数据项是否位于缓存中。

术语“缓存命中”表示在缓存中找到了数据项，而“缓存未命中”表示没有找到数据项。

当CPU缓存被赋予一个地址时，它会将这个地址分解成必要的字段，并开始检查它的缓存条目。缓存条目由缓存标记(此处标记为标记)和缓存块(标记为数据)组成。

直接映射

在直接映射的高速缓存中，缓存条目被组织成多个集合.地址中的集合编号用于索引每组条目。一旦确定了集合，就会比较缓存标记。如果它们是匹配的，则这是缓存命中，并输出指定的数据。

理解直接映射缓存的关键是每个集合只有一个缓存项。这使得直接映射的高速缓存非常快，同时消耗最少的能量。

由于每个集合只能包含一个条目，直接映射缓存确实具有较高的争用率，这意味着多个数据项将希望存储在同一个位置。这会导致缓存丢失。解决此问题的一种方法是使用完全关联的缓存。

全结合

完全关联的高速缓存与直接映射的高速缓存相反.与包含单个条目的多个集不同，完全关联缓存具有多个缓存项，所有缓存项都包含在一个集合中。

集结合

一个集合关联缓存提供了这两个世界中最好的。它由多个集组成，每组包含多个缓存项。

它怎麽工作?首先，SET编号允许缓存跳转到适当的条目集。接下来，搜索每组条目以寻找匹配的标记。如果找到，字节偏移量将用于输出所请求的数据。这种方法允许缓存提供功耗和争用率的优化平衡。

图5显示了一个4路集关联缓存.它被称为4路，因为每个集合最多可以包含四个缓存项。如果每组只能容纳两个高速缓存项，那将是双向的.因此，一个直接映射的缓存实际上只是一个单向集关联缓存，而一个完全关联的缓存是一个单一集m路集关联缓存，其中m是缓存条目的数量。

内容管理

内容管理启发式就是它们听起来的样子。它们是一组规则，它们决定何时缓存和缓存什么。这些启发式方法标识从内存中请求的重要项，并将这些项复制到缓存中。内容启发式的两个例子是预取被认为重要或即将使用的数据项和替换策略，这些策略决定在缓存集已满或接近容量时替换哪些项。

一致性管理

一致性管理试探法都是关于保持缓存与其他内存同步的。这可能意味着主存、层次结构中的其他缓存级别，甚至缓存本身。例如，缓存不应该在其缓存块中有相同数据的多个副本。此外，如果缓存和主内存有不同的副本应该是相同的数据，应用程序可能会收到过时或陈旧的数据项。这在多核系统中尤其有可能。因此，一致性管理启发式方法可能会定期使用缓存数据的更新版本更新主内存。