Ребят, у нас тут робот-хирург операцию делает
Простой 5 мин Работа с видео *Робототехника Будущее здесь Видеоконференцсвязь Кейс
Если лягушку опустить в кипяток, она резко выпрыгнет, но если температуру поднимать постепенно, она не заметит подвоха и сварится. С проектами у меня так же.
И вот неожиданно для себя самого я организую видеосъемку хирургической операции в прямом эфире. Оперирует робот-хирург. Разрез делает на тканевом уровне, так точно, как не может сделать человек. Управляют им два хирурга с помощью VR-шлема и джойстиков. А мы транслируем изображение с камер в щупальцах робота-осьминога в конференц-зал.
Содержание статьи:
Интересный заказчик
Я не медик. Обычно снимаю вебинары, конференции, подкасты. Мне позвонили заказчики и спросили:
“Здравствуйте! Мы организовываем медицинскую конференцию. Можете помочь с онлайн-трансляцией?”.
Интересный заказчик
Да, конечно, делаем такое – привожу примеры.
Снимаем там, где режут
“Но у нас на конференции не только говорить будут, но и показывать”.
Заказчик
Выясняю, что нужно снять не только врачей с докладами, но и операционную.
В операционную надо попасть заранее: найти розетки, дополнительную комнату для пультовой, понять, где можно ходить и куда ставить аппаратуру. Тебя заранее ненавидят охранники и медсестры – не пускают и периодически покрикивают.
Твой пропуск — это заказчик-хирург, у которого всегда много дел и волшебные способности к исчезновению. Поэтому его сложно найти.
Аппаратуры всегда много
Без обработки в операционную нельзя, а аппаратуры много: кабели, камеры, объективы, штативы, микрофоны. Поэтому стерилизуем все за день до операции и оставляем в стерильной раздевалке операционной. В больнице двухлитровые антисептики и салфетки. Ими все и протираем.
Проводов и мелких деталей много. Продезинфицировать надо все.
С одеждой тоже решили – взяли одноразовую. Подумал, если дело пойдет, возьмем набор заправского хирурга: маски, кроксы и халаты. Перед трансляцией — дезинфекция рук и гигантская липучка, которая собирает весь мелкий мусор с тапок.
К тем, кто в операционной требований больше. Если ты в кабинете рентгенохирургии, будь готов носить тяжелый халат с металлом несколько часов.
Снимать будем все: как режут, зашивают, удаляют. В команде операторов все со стабильной нервной системой: все-таки операция – кровь, скальпели. Не помогло.
Хирург показал на моего бледного коллегу и сказал:
“Этот готов, иди погуляй, подыши воздухом”.
В съемочной группе 4 человека: продюсер, инженер и 2 оператора.
Пока одни режут, другие слушают доклады
В конференц-зале читают доклады, а в операционной готовятся к операции.
Конференц-зал слушает доклады и ждет эфира.
Сперва закатывают пациента. Приходит старшая сестра и указывает, где можно и нельзя ставить камеры. Мы быстро заносим камеры, кладем коммутацию, проклеиваем их гафферским тейпом, чтобы никто не споткнулся и не нарушил ход операции. В операционных мебель на колесиках, поэтому расстановка происходит быстро.
Пока ты занимаешься аппаратурой, подготавливают пациента — погружают в сон, делают необходимые надрезы. Обычно этим занимается второй, ассистирующий хирург.
Начинается трансляция в зал. Приходит главный хирург, описывает клинический случай пациентки. Показывают пару слайдов на камеру, чтобы объяснить необходимость операции: хирургам важно доказать, что операция была единственно возможным, необходимым шагом в лечении. Во время этой операции нужно не только избавиться от опухоли, но и сохранить способность к деторождению. Женщине 48 лет, но она хочет родить детей.
Илону Маску бы понравилось
“Только у нас оперирует робот…”
Заказчик
Над пациентом 4 манипулятора-щупальца робота с инструментами и камерой. У каждого щупальца свой ход. Режет сверхточно, на тканевом уровне, как не может делать человек. Ходим в метре от него, чтобы и нам не прилетело по голове, и у пациента не резануло что-нибудь лишнее.
Перед операцией я изучал документацию робота da Vinci. Из интересного – на случай, если хирург случайно резко заденет джойстик, предусмотрена автоблокировка. Она страхует от невыверенных действий. Называется “компенсация ошибок хирурга”. Дублирующие действия робот также блокирует.
Например, в одной из серий “Доктор Хаус”, когда он оперировал пациента роботом, его робот автоблокиратором оборудован не был, и он смог разрезать пациента пополам. Хоть и в кошмарном сне.
Операционная система такого робота очень простая и напоминает операционную систему ракеты, то есть она простая не потому, что разработчики поленились, а потому, что это позволяет обеспечить надежность. Уже было испытано дистанционное управление этим роботом.
Робот не принимает решение самостоятельно — это руки доктора. Врач управляет за отдельной консолью, комментирует действия и отвечает на вопросы аудитории.
А так выглядит пульт управления роботом-хирургом, фото с сайта, сфоткать в живую не смог
Роботом управляют два хирурга через VR-шлем
“Только мы роботом через джойстики и VR-шлем управляем…“
Заказчик
Конференц-зал должен видеть то же самое, что и врач. Поэтому разбираемся, откуда и куда идет сигнал с камеры робота.
Роботом управляют два хирурга. Один хирург по сути видеооператор, он снимает внутри человека, и его задача — выдать нужный ракурс второму хирургу. Он идеально знает болезнь и анатомию. А еще этот хирург такой же видяшник, как и мы, с ним легко можно перекинуться фразами вроде: “у меня SDI-интерфейс, 4К-формат, он программируемый, давайте я через матрицу его подключу, с рекордера вытащу и вам сплиттером отдам”. Второй видит ракурс в VR-очках и управляет роботом. Первый хирург видит все от первого лица и, по сути, выбирает ракурс, а второй хирург уже проводит саму операцию.
Над пациентом щупальца с инструментами. Робот использует скальпели, иглы, нити, электрокоагулятор, есть возможность промыть препаратами, продуть воздухом — делает все то же, что и обычные хирурги, но с большей точностью. А еще у него есть видеокамера. Она вводится в тело пациента и транслирует картинку. Все это напоминает Инспектора Гаджета.
Для нашей съемочной группы важна консоль вывода сигнала, которая отдает с робота 5 одинаковых видеосигналов (напоминает ТВ-станцию):
На экране анестезиолога не картинка с органами, а цифры — температура, давление
Да Винчи передает картинку высокого качества не ниже Full HD. Сигнал стабильный, потому что трансляция идет по независимым каналам. Но забрать сигнал нельзя. Протоколы в роботе защищены. Поэтому сначала дешифруем видеосигнал кросс-конвертером. А потом забираем его на пультовую. В конференц-зал видео передаем через протокол SRT.
Схема передачи видеосигнала
Кроме камеры робота, в операционной 3 камеры у операторов: 2 на штативах, одна на электронном стабилизаторе. Они снимают врача и операционную, когда это требуется.
Видите второго оператора? А он есть.
Чтобы зал слышал врача, крепим ему петличку, или хедсет, как у спикеров, которым нужно 2 руки для жестикуляции. Врач в маске. Если звук не обрабатывать, зал плохо слышит. Поэтому звукорежиссер сразу эквализирует звук и отдает в зал чистый голос.
Чтобы врач слышал вопросы зала, ставим колонку. Наушники нельзя. Он должен слышать все, что творится в операционной.
Если не разделять передачу звука и видео по разным каналам, поймаем звуковую петлю. Это когда голос из зала идет в колонку, от колонки микрофон ловит этот звук и возвращает обратно в зал. Поэтому мы заранее распределили каналы: видео передаем через свои протоколы, звук через систему ВКС со встроенной системой активного шумоподавления, подойдет даже Zoom.
А вот он я
Как будто сам операцию делал, зрачки шире, волосы — седее.
Операция длилась 30 минут. У женщины удалили опухоль, а точность операции позволила оставить возможность иметь детей. В прямом эфире врачам в зале операцию показали. Ссылку скинуть не могу, потому что конференция закрытая. А видео с любительской съемки — могу.
Мы втянулись, и теперь часто снимаем мед. конференции. В операционной навидались всякого: как лица собирали, людей после аварии откачивали. Однажды попали на соревнование гастроэнтерологов. Позже расскажу.
А пока создал блог Cinecast: Люди в кадре. Подписывайтесь, буду делиться интересной внутрянкой со съемок.
Над статьей работали: Слава Рюмин, Анна Тыщенко, Эвелина Астапова
Теги:
- робот-хирург
- видеотрансляция
- съемка операции
- прямой эфир
- видео
- личный опыт
- наука
- будущее наступило
Хабы:
- Работа с видео
- Робототехника
- Будущее здесь
- Видеоконференцсвязь
habr.com