Το υλικό του υπολογιστή (computing hardware) αποτελεί σημαντικό τμήμα της υπολογιστικής διαδικασίας και της αποθήκευσης δεδομένων. Η αρχική μορφή του υλικού των υπολογιστικών συσκευών ήταν, πιθανότατα, κάποια ράβδος με εγκοπές. Μεταγενέστερα βοηθήματα αποθήκευσης πληροφοριών είναι τα Φοινικικά πήλινα σχήματα, που αντιπροσώπευαν τον αριθμό αντικειμένων (ζώων ή καρπών) σε δοχεία. Παρόμοιοι «αριθμοί» έχουν βρεθεί σε Μινωικές ανασκαφές. Αυτά φαίνεται ότι χρησιμοποιούνταν από εμπόρους, λογιστές και κυβερνητικούς αξιωματούχους της εποχής.
Οι βοηθητικές συσκευές για υπολογισμούς έχουν αλλάξει από τις απλές συσκευές για μέτρηση και καταγραφή, στον άβακα, τον λογαριθμικό κανόνα, τους αναλογικούς υπολογιστές και πρόσφατα τους ηλεκτρονικούς υπολογιστές. Ακόμα και σήμερα, ένας πεπειραμένος χρήστης του άβακα μπορεί, χρησιμοποιώντας μια συσκευή που δημιουργήθηκε πολλούς αιώνες πριν, να εκτελέσει βασικούς υπολογισμούς ταχύτερα από έναν ανειδίκευτο χρήστη ενός ηλεκτρονικού υπολογιστή, αν και για περίπλοκους υπολογισμούς οι υπολογιστές ξεπερνούν σε ταχύτητα ακόμα και τον πιο έμπειρο άνθρωπο.
Οι άνθρωποι από πολύ παλιά χρησιμοποιούσαν βοηθητικές συσκευές για να κάνουν υπολογισμούς. Ένα απλό παράδειγμα είναι η συσκευή για τον έλεγχο της ισότητας του βάρους: η κλασική ζυγαριά. Άλλο ένα είναι η απαρίθμηση: τα καρό υφάσματα των αγορών χρησίμευαν ως απλές δομές δεδομένων για να απαριθμούνται στοίβες από νομίσματα, με βάση το ύψος. Μια μηχανή πιο προσανατολισμένη προς την αριθμητική είναι ο άβακας. Η πλέον πρώιμη μορφή του άβακα, ο άβακας σκόνης, φαίνεται να είχε εφευρεθεί πρώτα στη Βαβυλωνία. Ο Αιγυπτιακός άβακας με χάντρες και κλωστή υπάρχει από το 500 π.Χ.
Ο μηχανισμός των Αντικυθήρων ανακαλύφθηκε στην αρχή του 20ου αιώνα στο ναυάγιο ενός ελληνικού πλοίου κοντά στα Αντικύθηρα, που πιστεύεται ότι βυθίστηκε γύρω στο 65 π.Χ. Είχε τριάντα ή περισσότερα χάλκινα γρανάζια και μια συσκευή με ακίδες και οπές ανάμεσα σε δύο γρανάζια και συνολικά αναπαριστούσε τις κινήσεις της σελήνης, του ήλιου και των γνωστών τότε πλανητών. Αυτή όμως η τεχνολογία χάθηκε (δεν υπάρχει κανένα σχετικό γραπτό για το μηχανισμό αυτό και τον τρόπο λειτουργίας του) και χρειάσθηκε να περάσουν αιώνες μέχρι να δημιουργηθούν ξανά τόσο πολύπλοκες συσκευές.
Το 1206 ο Ιρακινός εφευρέτης Αλ-Τζαζάρι δημιούργησε την πρώτη προγραμματιζόμενη μηχανή με τη μορφή ενός ανθρωπόμορφου ρομπότ.
Το 1623 ο Βίλχελμ Σικάρντ έφτιαξε την πρώτη μηχανική αριθμομηχανή. Λόγω του ότι η μηχανή του χρησιμοποιούσε οδοντώσεις και γρανάζια που αρχικά χρησιμοποιούνταν σε ωρολόγια, λεγόταν επίσης υπολογιστικό ρολόι. Χρησιμοποιήθηκε για πρακτικούς σκοπούς από τον φίλο του Γιόχαν Κέπλερ ο οποίος έφερε επανάσταση στην αστρονομία.
Ακολούθησαν μηχανές από τον Μπλεζ Πασκάλ (η Πασκαλίνα, 1642, όπως αποκλήθηκε η συσκευή του) και τον Γκότφριντ Βίλχελμ Λάιμπνιτς (1671). Γύρω στο 1820, ο Κάρολος Ξαβιέ Τόμας δημιούργησε την πρώτη επιτυχή ευρείας παραγωγής αριθμομηχανή, το «Αριθμόμετρο Τόμας», που μπορούσε να εκτελέσει προσθέσεις, αφαιρέσεις, πολλαπλασιασμούς και διαιρέσεις. Βασίστηκε κυρίως στην εργασία του Λάιμπνιτς. Μηχανικοί υπολογιστές, όπως ο προσθέτης με βάση το δέκα, το κομπτόμετρο, το Μονρό, το Κούρτα και το Addo-X παρέμειναν σε χρήση μέχρι τη δεκαετία του 1970.
Ο Λάιμπνιτς επίσης περιέγραψε το δυαδικό σύστημα αρίθμησης.
Ο Τζων Νάπιερ παρατήρησε ότι ο πολλαπλασιασμός και η διαίρεση αριθμών μπορεί να πραγματοποιηθεί με πρόσθεση και αφαίρεση, αντίστοιχα, των λογαρίθμων τους. Δεδομένου ότι αυτοί οι πραγματικοί αριθμοί μπορούν να αναπαρασταθούν χρησιμοποιώντας αποστάσεις ή διαστήματα πάνω σε μια γραμμή, ο λογαριθμικός κανόνας έκανε εφικτές αυτές τις πράξεις πολύ πιο γρήγορα από όσο ήταν δυνατό πριν. Οι λογαριθμικοί κανόνες χρησιμοποιήθηκαν από γενιές μηχανικών και άλλων επαγγελματιών που έκαναν χρήση μαθηματικών, μέχρι την εφεύρεση της αριθμομηχανής τσέπης. Οι μηχανικοί του προγράμματος Απόλλων για να στείλουν ανθρώπους στη Σελήνη έκαναν πολλούς από τους υπολογισμούς τους με λογαριθμικούς κανόνες, οι οποίοι είχαν ακρίβεια τριών ή τεσσάρων σημαντικών ψηφίων.
Όταν δημιουργούσε τους πρώτους λογαριθμικούς πίνακες, ο Νάπιερ έπρεπε να κάνει πολλούς πολλαπλασιασμούς, και ήταν τότε που σχεδίασε τα κόκαλα του Νάπιερ.
Την δεκαετία του ’30 ο Άλαν Τιούρινγκ ή αλλιώς ”πατέρας της επιστήμης των υπολογιστών και της τεχνητής νοημοσύνης” επινόησε μια μηχανή (Μηχανή Τιούρινγκ) όπου μπορούσε να λύσει κάθε υπολογίσιμο πρόβλημα. Αργότερα, το 1945 ο Τζόν φον Νόιμαν και μια ομάδα από το Πανεπιστήμιο του Πρίνστον, εμπνευσμένοι από τον Τιούρινγκ δημιούργησαν την Αρχιτεκτονική φον Νόιμαν (Αρχιτεκτονική Πρίνστον). Οι σύγχρονοι υπολογιστές σχεδιάζονται με βάση αυτές τις αρχές.