高速缓冲存储器的作用在于缓解主存速度慢、跟不上CPU读写速度要求的矛盾。它的实现原理，是把CPU最近最可能用到的少量信息（数据或指令）从主存复制到CACHE中，当CPU下次再用这些信息时，它就不必访问慢速的主存，而直接从快速的CACHE中得到，从而提高了得到这些信息的速度，使CPU有更高的运行效率。这里讨论的是在"缓存--主存"层次遇到的问题。问题的焦点，就集中到到底能有多大的概率，CPU可以从CACHE中得到原本应该到主存中去取得的信息，这是评价CACHE运行性能的关键指标，被称为CACHE的命中率。造成这一问题的根源，是CACHE的容量远远小于主存，它所存放的内容只是主存内容的很小一部分。为此，必须找出一整套方案，从CACHE的读写原理，CACHE的容量设置，确定CACHE存储单元与主存哪一个单元是对应关系，主存和CACHE每次交换数据的单位量、交换的时刻，CACHE接入计算机系统中的方式等多方面，来解决CACHE速度、命中率等一系列问题。这些正是在本节要讨论的主要内容。