Kutatás
Budapesti Műszaki és Gazdaságtudományi Egyetem
Villamosmérnöki és Informatikai Kar
Computer graphics and machine vision
Activity of the research group:
The Computer Graphics group focuses on real-time GPU-based photorealistic image synthesis, off-line CPU-based global illumination, non-photorealistic/artistic imaging simulation, medical/physical/engineering systems simulation and visualization, image processing, machine vision, and tomographic reconstruction.
Recent results:
- Dynamic PET reconstruction system algorithms and GPU implementation
- GPU-based sampling and reconstruction
- Non-Euclidean geometries in games and virtual reality systems
- Real-time algorithmic photography: fog, rain, etc. Elimination
- Deep learning applications in image processing and graphics
- Retinal transfer function determination (collaboration with Botond Roska’s group in Basel)
Former students have gone on to professional management positions at Intel, Google, Amazon, Weta Digital, Industrial Light&Magic, Disney, DreamWorks, etc.Attila Áfra, a former PhD student and current Intel researcher, won this year’s Technical Oscar, the highest award for practical application of computer graphics.
Special infrastructure:
GPU server • Reconstruction server • GPU workstation
Recent projects:
VKSZ • VEKOP • VKE • OTKA
International relations:
Universidad de Girona • Cseh Műszaki Egyetem • Auckland University of Tech. • Pompeu Fabra University • NMI Reutlingen • Griffith University • Universitat Wien
Industrial partners:
Mediso
Speech Communication and Smart Interactions
Activity of the research group:
Our lab group is an “old hand”, we have been present at the Department of Telecommunications and Media Informatics of the Budapest University of Technology and Economics since the beginning. Our main areas of expertise are speech communication and speech technology in Hungarian, human-machine, human-robot interfaces, assistive interfaces for blind, visually impaired and speech impaired users, general statistics and modern machine learning algorithms. A strong focus on deep learning research and education. We have gained experience in a number of national and international projects in the broader field of ICT applications (customer service automation, self-driving cars, etc.). Our technologies have been applied in practice in these areas for decades.
Recent results:
- Research:
- H2020 projects (AI4EU partner, APH-ALARM AAL partner, VUK and PAELIFE AAL projects), MI coalition activity, member of national laboratories (MI Lab, InfoLab),
- Industry:
- Continental Professional Intelligence for Automotive project, Idomsoft ücustomer service automation, IT.DOT MÁV voice passenger information, OTP speaking ATMs (in daily use, also in other banks besides OTP + government systems under implementation/planning)
- Education:
- Educating academia and industry on artificial intelligence and deep learning.
- Introduction of practical deep learning and HCI teaching at the faculty, Teaching of Speech Information Systems, Brain Signal Processing, Speech and Hearing Diagnostics, Participation in the development and teaching of Infocommunication and other subjects
- NVidia Deep Learning Institute organisation and delivery of full-day workshops on deep learning for academics and students
Special infrastructure:
GPU servers
Recent projects:
OTKA • CELSA
International relations:
University of Novi Sad, Serbia • University of Ss. Cyril and Methodius, Skopje, Macedonia • diap Research Institute, Martigny, Switzerland • Université Pierre et Marie Curie, Paris, France • Langevin Institute, ESPCI-ParisTech, Paris, France • Tianjin University, Tianjin, China • University of Cologne, Cologne, Germany • Universidad Industrial de Santander Bucaramanga, Santander, Colombia • UPC Barcelona, Barcelona, Spain • National University of Defense Technology, Changsha, China • AGH University of Science and Technology, Department of Measurement and Electronics • University of Ss. Cyril and Methodius in Skopje, Macedonia • Università della Campania Luigi Vanvitelli and IIASS • Université Grenoble Alpes • Universidad Industrial de Santander Bucaramanga, Santander, Colombia
Industrial partners:
ELTE • SOTE • ELKH • Hospitals • Idomsoft • IT.DOT Kft • OTP • Microsoft Mo. Kft. • Auxiliis Pharma Kft. • SCI Hálózat zRt.
Data Science and Content Technologies
Activity of the research group:
The group deals with modern methods of data mining, information retrieval, natural language processing, machine learning, image and video processing. These belong to the fields of artificial intelligence and data science, within which the research focuses on computer vision, neural networks, deep learning, active learning. In addition to research, the group also plays a significant role in education, as responsible for Specialization of Data Science and Media Informatics in the MSc Computer Engineering, Specialization of Analytical Business Intelligence in the MSc Business Informatics, and Data-Based Systems Specialization in BProf Computer Engineering.
Recent results:
- Active learning in image classification, Few-shot learning in X-ray image analysis,
- Character recognition (digit recognition) in extreme conditions,
- Spectral clustering on multimedia datasets, Recognition of plants in images by deep learning, Balanced active learning, Machine learning in an open set.
- 1st place in the SnakeCLEF 2021 International Image Classification Competition organized by ImageCLEF / LifeCLEF
Special infrastructure:
GPU (Titan X)
Industrial partners:
Posta • Tigáz • Magyar közút • Pannon University • ELTE • Debrecen University • NKE
Beszédkommunikáció és Intelligens Interakciók
A kutatócsoport tevékenysége:
Laborcsoportunk “régi motoros”, jelen vagyunk a Budapesti Műszaki és Gazdaságtudományi Egyetem Távközlési és Médiainformatikai Tanszékén a kezdetektől fogva. Fő kompetenciáink a magyar nyelvű beszédbeszédkommunikáció és beszédtechnológia, ember-gép, ember-robot interfészek, kisegítő interfészek vak-, látás- és beszédsérült felhasználóknak, továbbá az általános statisztikai és modern gépi tanuló algoritmusok. Nagy hangsúlyt fektetünk a deep learning kutatásra és oktatásra. Számos hazai és nemzetközi projektben szereztünk tapasztalatot a szélesebben vett infokommunikáció alkalmazási területein (ügyfélszolgálat automatizálás, önvezető autók, stb.). Technológiáinkat több évtizede alkalmazzák a gyakorlatban a fenti területeken.
Eredmények:
- Kutatás:
- H2020 projektek (AI4EU projekt partner, APH-ALARM AAL projekt partner, VUK és PAELIFE AAL projektek), MI Koalíció aktivitás, Nemzeti Laborok tagság (MI Lab, InfoLab),
- Ipar:
- Continental Professional Intelligence for Automotive projekt (IIT-vel), Idomsoft ügyfélszolgálat automatizálás, IT.DOT MÁV hangos utastájékoztatás, OTP beszélő ATM-ek (mindennapi használatban, az OTP mellett más bankokban is + kormányzati rendszerekben is bevezetés/tervezés alatt)
- Oktatás:
- Egyetemi és ipari szereplők oktatása mesterséges intelligencia és deep learning témakörben.
- BME VIK-en gyakorlati deep learning és HCI oktatás bevezetése, Beszédinformációs rendszerek oktatása, Agyi jelek feldolgozása, Beszéd- és hallásdiagnosztika, részvétel Infokommunikáció és más tárgyak kidolgozásában és oktatásában
- NVidia Deep Learning Institute egész napos workshopok szervezése és lebonyolítása mélytanulás témakörben egyetemi oktatók és hallgatók számára
Speciális infrastruktúra:
GPU szerverek
A közelmúlt projektjei:
OTKA • CELSA
Nemzetközi kapcsolatok:
University of Novi Sad, Serbia • University of Ss. Cyril and Methodius, Skopje, Macedonia • diap Research Institute, Martigny, Switzerland • Université Pierre et Marie Curie, Paris, France • Langevin Institute, ESPCI-ParisTech, Paris, France • Tianjin University, Tianjin, China • University of Cologne, Cologne, Germany • Universidad Industrial de Santander Bucaramanga, Santander, Colombia • UPC Barcelona, Barcelona, Spain • National University of Defense Technology, Changsha, China • AGH University of Science and Technology, Department of Measurement and Electronics • University of Ss. Cyril and Methodius in Skopje, Macedonia • Università della Campania Luigi Vanvitelli and IIASS • Université Grenoble Alpes • Universidad Industrial de Santander Bucaramanga, Santander, Colombia
Vállalati partnerek:
ELTE • SOTE • ELKH • Kórházak • Idomsoft • IT.DOT Kft • OTP • Microsoft Mo. Kft. • Auxiliis Pharma Kft. • SCI Hálózat zRt.
Számítógépes grafika és gépi látás
A kutatócsoport tevékenysége:
A számítógépes grafika csoport elsősorban valósidejű GPU-n futó fotorealisztikus képszintézissel, off-line CPU alapú globális illuminációval, nem-fotorealisztikus/művészi képalkotás szimulációjával, orvosi/fizikai/műszaki rendszerek szimulációjával és vizualizációjával, képfeldolgozással, gépi látással, és tomográfiás rekonstrukcióval foglalkozik.
Eredmények:
- Dinamikus PET rekonstrukciós rendszer algoritmusai és GPU implementációja
- GPU alapú mintavételezés és rekonstrukció
- Nem-euklideszi geometriák játékokban és virtuális valóság rendszerekben
- Valós-idejű algoritmikus fotográfia: köd, eső, stb. Eltüntetés
- Deep learning alkalmazások képfeldolgozásban és grafikában
- Retina átviteli függvény meghatározása (Roska Botond Basel-i csoportjával együttműködés)
Korábbi hallgatóink olyan helyekre kerültek szakmai vezetői beosztásba, mint pl. Intel, Google, Amazon, Weta Digital, Industrial Light&Magic, Disney, DreamWorks, stb. Áfra Attila, korábbi doktoranduszunk és jelenleg az Intel kutatója idén Technikai Oscar díjat nyert, ami a számítógépes grafika gyakorlati alkalmazásának legmagasabb szintű kitüntetése.
Speciális infrastruktúra:
GPU szerver • Rekonstrukciós szerver • GPU munkaállomás
A közelmúlt projektjei:
VKSZ • VEKOP • VKE • OTKA
Nemzetközi kapcsolatok:
Universidad de Girona • Cseh Műszaki Egyetem • Auckland University of Tech. • Pompeu Fabra University • NMI Reutlingen • Griffith University • Universitat Wien
Vállalati partnerek:
Mediso