Rozszerzona rzeczywistość HoloLens w kardiologii – światowa innowacja zaprezentowana po raz pierwszy w Polsce

W czasie warsztatów kardiologicznych New Frontieres in Interventional Cardiology (NFIC) pierwszy raz zostanie pokazane badanie EKG i planowanie wirtualnego zabiegu implantacji zastawki aortalnej z wykorzystaniem nowatorskiego urządzenia HoloLens.

 W piątek o godz. 10:15 w ICE Kraków odbędzie się ceremonia otwarcia warsztatów kardiologicznych NFIC, a podczas niej sesja specjalna poświęcona wykorzystaniu HoloLens w kardiologii. Pierwszy raz na świecie prof. Dariusz Dudek, dyrektor warsztatów NFIC i Mateusz Kierepka, prezes MedApp SA oraz twórca projektu – zaprezentują, jak wykonać badanie EKG z użyciem HoloLens. To jednak nie wszystko. Prof. Dudek pokaże wirtualny zabieg implantacji zastawki aortalnej przechodząc przez wszystkie elementy zabiegu. Możemy powiedzieć, że przeprowadzi symulację zabiegu, który to następnie wykona już na sali zabiegowej w sobotę i będzie to ten sam zabieg i ta sama pacjentka, a wszystko będą mogli zobaczyć kardiolodzy i kardiochirurdzy z całego świata. Jak to możliwe?

HoloLens jest na świecie z powodzeniem wykorzystywanym urządzeniem w architekturze czy medycynie. Pomaga studentom medycyny w edukacji, ale to co do tej pory pokazano to tak naprawdę niewielkie możliwości HoloLens. Wszyscy pracują na trójwymiarowych modelach serca i pacjenta, ale to tylko modele. W Krakowie zostanie pokazane serce zeskanowanego pacjenta. Jak to działa?

To, co pokażemy pierwszy raz na świecie, to wizualizacja wykonana jako sumaryczne połączenie trzech rozwiązań: po pierwsze wizualizujemy badanie pacjenta którego serce zostało zeskanowane i na podstawie tych skanów został wykonany obraz 3D, po drugie wykorzystujemy własną autorską aplikację, która wizualizuje to serce, po trzecie w czasie rzeczywistym odczytujemy zapis elektrokardiografu i na podstawie tego dokonujemy animacji tego serca – wyjaśnia Mateusz Kierepka z MedApp SA.

Samo HoloLens jest urządzeniem wykorzystującym rozszerzoną rzeczywistość. Pokazuje nam w sposób ciągły obraz, który jest rzucany na okulary; obraz ten jest rozszerzeniem tego co widzimy bez okularów (bez HoloLens). Dzięki temu możemy dodatkowe uzupełnić to co widzimy o dodatkowe informacje. Podczas rozmowy Mateusz Kierepka podaje przykład kubka z kawą.

T-Mobile w kampanii „Nie daj sobą kierować” apeluje do Gen Z o odzyskanie kontroli nad własnym życiem

Jeśli patrzę na ten kubek za pomocą HoloLens to mogę uzyskać dodatkowe informacje o kubku i jego zawartości: Jaki ma wymiar, co jest w środku, jaka jest zawartość cukru, z jakiego materiału jest wykonany i to wszystko będzie zaprezentowane w rozszerzonej przestrzeni, którą tylko ja widzę, ale nikt bez okularów jej nie zobaczy – tłumaczy Kierepka.

HoloLens mówiąc najprościej to komputer umieszczony w okularach, który ma cały zestaw czujników – może rozpoznawać rysy twarzy, skanować, mierzyć, a w oparciu o odpowiednie dane tworzyć wizualizację 3D. W urządzeniu mamy także kamery na podczerwień, które są w stanie określić położenie obiektów wokół. Jak podkreślają twórcy aplikacji, zastosowanie HoloLens jest zależne od oprogramowania, a to z kolei jest ograniczone tylko wyobraźnią twórców.

HoloLens to nie tylko wszelkie możliwe metody obrazowania, ale również możliwość wideokonsultacji, co właśnie z punktu widzenia lekarzy jest niezwykle istotne, bo tego samego pacjenta mogą widzieć w tym samym czasie specjalista w Polsce i np. w USA. I ten lekarz gdzieś daleko może narysować, gdzie zrobiłby cięcie w czasie zabiegu i jak, co znacznie przyspieszy proces konsultacji i diagnostyki.

Kardiologia mocno się rozwija. Powiem więcej – to, co pokazujemy, to prawdziwa rewolucja. W maju firma Microsoft pokazała w Europie cały system stosowania rozszerzonej rzeczywistości i jego zastosowanie w medycynie. To na razie prototyp, ale ja szacuję, że za 2 czy 3 lata będzie to miało zastosowanie praktyczne. Za pięć lat może stać się już standardem – mówi Dariusz Dudek, dyrektor warsztatów New Frontieres in Interventional Cardiology (NFIC).

Aplikacja MedApp i HoloLens to także dokumentacja medyczna w jednym miejscu. Na podstawie raportów, wyników badań, analiz, które trafiają do centralnego raportu o pacjencie, lekarze w jednym miejscu mają jego pełną dokumentację medyczną i mogą z niej korzystać.

HoloLens w tej chwili to dwie aplikacje. Jedna płaska, czyli wszystkie te dokumenty medyczne, wykresy, wyniki badań. A druga to aplikacja przestrzenna, gdzie na podstawie obrazów np. tomografii komputerowej tworzymy wizualizację 3D np. serca i jest to serce konkretnego pacjenta, bo dane są pobrana z tomografii tego pacjenta. Lekarz może się pomiędzy tymi aplikacjami spokojnie przełączać – wyjaśnia Kierepka.

Dzięki HoloLens lekarz może przejść przez wszystkie etapy zabiegu, zobaczyć wszystkie tkanki i przygotować się na to, co może go spotkać podczas samego zabiegu. Obrazowanie z wykorzystaniem HoloLens i odpowiedniej aplikacji to przeskok technologiczny w stosunku do stosowanych dziś metod. Choć to dopiero początki pracy nad aplikacją i wykorzystaniem HoloLens w kardiologii, to już projekt cieszy się dużym powodzeniem również poza Polską. Twórcy szacują, że w ciągu roku będą mieli gotowe pełne rozwiązanie do wykorzystywania przez kardiologów.