Mac OS X, в целом, строится как многоуровневая система программного обеспечения. Нижние слои являются наиболее близкими к аппаратному обеспечению. Эти слои включают в себя программное такое обеспечение, как драйверы устройств и программы для доступа к конкретным функциям процессора, таких как AltiVec. Чем больше слоев опирается на функциональность под ними и предлагают приложению свои «услуги», которые проще в использовании, тем более гибкими возможностями они обладают. Задача проектировщика приложения – решить, на каком уровне он должен получить доступ к системе графики. Это является балансом между сложностью и производительностью приложений.

Слои графической системы и способы, по которым они построены, формируют вершину в самых общих чертах. Строго говоря, слой QuickTime–программы может взаимодействовать непосредственно с оборудованием, минуя слои под ними. Тем не менее, подобная схема используется для описания архитектуры Mac OS X.

Слой ядра и оборудования представляет самые низкие уровни операционной системы. Аппаратная часть включает в себя такие компоненты, как основной компьютер и чипы на видеокарте. С точки зрения основного компьютера, система графики должна часто взаимодействовать с процессорными единицами векторной обработки и памяти. Этот слой система обрабатывает для конкретных инструкций. Оборудование на видеокарте включает наличие программируемых GPU, объем видеопамяти, а также взаимосвязь между видеокартой и оперативной памятью. Слой ядра включает драйвера для видеокарты и другое программное обеспечение, которое взаимодействует непосредственно с оборудованием. Интерфейсы программного обеспечения, экспортируемые из ядра и аппаратного слоя, инкапсулируют огромное количество сложностей. Приложения, требующие абсолютной высокий уровень производительности, могут потребовать подключение к системе на этом уровне, но это, вероятно, будет очень редкое применение.