Kontrola skarbowa stanowi jeden z elementów aparatu skarbowego. Aparat kontroli skarbowej, tak samo jak aparat poboru podatków, składa się z kilku powiązanych ze sobą organów administracyjnych. Urzędy kontroli skarbowej, zlokalizowane na terenie każdego polskiego województwa, dokonują czynności kontrolnych. Na ich czele stoją dyrektorzy wskazanych urzędów kontroli skarbowej. Zadaniem takich organów jest kontrolowanie funkcjonowania urzędu, dopasowywanie rozkładu planowego kontroli oraz upoważnianie inspektorów do organizowania kontroli. Nie mają one jednak prawa do ingerencji w czasie kontroli. Dyrektor urzędu jest powoływany przez Generalnego Inspektora Kontroli Skarbowej, czyli Ministra Finansów. Istnieje też możliwość, że będzie on jednocześnie inspektorem kontroli skarbowej.
Inspektorzy skarbowi są samodzielnymi i niezależnymi organami kontroli skarbowej. Do ich podstawowych obowiązków należy wszczynanie kontroli na bazie potwierdzenia podpisanego przez dyrektora urzędu kontroli skarbowej oraz pisemnego zawiadomienia.
Generalny Inspektor Kontroli Skarbowej jest organem wyższego stopnia w stosunku do inspektorów. Jego obowiązkiem jest określanie zadania kontroli skarbowej i porządkowanie systemu informacji. Siedziba jego urzędowania zlokalizowana jest w Ministerstwie Finansów. Pod jego jurysdykcję podlegają każde mniejsze jednostki kontrolne.
