Вначале возникла идея. Горные инженеры, братья Альфонс и Карл Кнауф, в начале 30-х годов были очарованы гипсом. Они мечтали преобразовать это уникальное творение природы так, чтобы строительство стало более быстрым, качественным и экономичным. Реализацию своих замыслов они начали в разгар экономического кризиса, когда в 1932 году основали фирму «Райнише Гипсиндустри унд Бергверксунтернемен».

На родине они получили право на разработку гипсового рудника в Шенгене и открыли первый завод по производству сухих строительных смесей на основе гипса в Перле на реке Мозель. Эти предприятия стали первыми заводами известной сегодня во всем мире группы КНАУФ. В 1949 году, когда была образована Федеративная Республика Германия, фирма КНАУФ заново начала свою историю.

В Северной Баварии, в городе Ипхофен, где сегодня располагается штаб-квартира фирмы, сначала был основан завод по производству гипсовых строительных смесей, а в 1958 году — первый завод по производству гипсокартонных листов.

В годы германского «экономического чуда» происходит стремительное развитие компании, в результате которого небольшая фирма превращается в целую семью предприятий, производящих продукцию по всему миру.
Несмотря на это, КНАУФ и сегодня считается классическим семейным предприятием, и именно поэтому является настолько успешным.

Первой продукцией компании были штукатурные смеси. В середине 60-х годов ХХ века фирма КНАУФ выпустила первую машинную штукатурку (МП 75), а вместе с ней и специальную штукатурную машину.

Одновременно было налажено производство жидкой стяжки для пола на основе ангидрита.
С запуском первого производства гипсокартонных листов в 1958 году начался новый этап в истории фирмы КНАУФ. Стратегия компании была направлена не только на то, чтобы производить и продавать листы, но и на то, чтобы предлагать потребителям всю палитру сопутствующих продуктов, то есть готовые решения для сухого строительства. Ассортимент продукции расширился, в том числе и за счет специальных инструментов и металлических профилей для монтажа стеновых и потолочных конструкций.
Когда в 1970 году компания КНАУФ приобрела пакет акций фирмы «Дойче Перлите ГмбХ» (Дортмунд), тем самым она впервые инвестировала в продукт, который производился не из гипса. Затем появились строительные смеси на основе извести и цемента, строительная химия и цементные плиты «Аквапанель».
Во Франции группа КНАУФ производит готовые элементы из пенополистирола для упаковки, а также литые детали для автомобильной и электронной промышленности.
Несмотря на процесс диверсификации деятельности, основной акцент долгое время делался на производстве сухих гипсовых смесей и систем сухого строительства. Лишь спустя годы еще одной опорой бизнеса компании стало быстро расширяющееся производство изоляционных материалов. Начало этому процессу было положено в 1978 году , когда компания приобрела завод