С начала 1990-х годов многочисленные исследователи неоднократно заявляли об автоматизированных системах доступа к видеоинформации. Поиск важных эпизодов в нетекстовых медиа, таких как видео и аудио, затруднен, потому что один и тот же материал означает разные вещи для разных людей.

Следовательно, ручная маркировка данных текстовыми ключевыми словами как средство облегчения доступа не обязательно является надежной для этого типа мультимедиа. Это важный момент. Поиск информации как задача действительно определяется только в контексте пользователя. В этой статье рассматривается контекст: спортивные СМИ. В этом контексте существует характерная структура для СМИ, а также ряд определяемых пользовательских требований. Спортивное вещание, безусловно, имеет большое коммерческое значение [1]. Все национальные и международные выпуски новостей содержат определенные регулярные сегменты, посвященные спорту (спортивная видеосъемка). Сами потребители все чаще выступают в роли генераторов спортивных средств массовой информации, поскольку родителям и тренерам становится легче, например, записывать спортивные  игры.

С точки зрения вещателя, эффективное архивирование мультимедиа облегчает последующее повторное использование при создании пакетов основных моментов или специализированных DVD-дисков. Ручная запись событий возможна, но отнимает много времени, а также громоздка для игр из давно заархивированных. В то же время потребитель сталкивается с большим количеством спортивных каналов, и полезность записи ограничена в том смысле, что все событие необходимо просматривать вручную, чтобы создать видимость пакета основных моментов. Еще более интересно то, что вещатели стремятся освещать все больше и больше спортивных мероприятий, чтобы заполнить доступное время программы, для создания наиболее ярких пакетов меньше рабочей силы. Поэтому у потребителя часто нет другого выбора, кроме как вручную просмотреть событие, чтобы создать эффект виртуального выделения. Чем дольше игра, тем сложнее становится ручной просмотр.

Эти трудности привели к росту интереса исследователей к автоматическому контент-анализу видео, ориентированному на спортивные события. Поскольку для людей более естественно работать на семантическом уровне, должны быть созданы алгоритмы, которые могут понять, как низкоуровневые особенности связаны с семантическими понятиями. В спортивном контексте семантический разрыв может быть преодолен, поскольку достижимо понимание структуры события и пользователя. Следовательно, возможно использование автоматизированного доступа к спортивным СМИ.

Повышение ценности спортивных трансляций благодаря инновационному использованию графики – хорошо зарекомендовавшее себя упражнение. Орад (www.orad.tv) в течение некоторого времени отвечал за рекламу на экране и надписи на объектах, в то время как Dartfish (www.dartfish.com) налагал на игроков / спортсменов с видеоисториями в том же виде. Многие в индустрии мобильных телефонов осознали потенциал спорта для улучшения рынка новых мобильных телефонов с поддержкой видео. Nokia (www.nokiausa.com/sports/nba.html) и другие (www.three.co.uk/indexcompany.omp) предлагают спортивные пакеты для мобильных телефонов. Эти пакеты включают в себя основные моменты и видео-обновления. Однако неясно, предлагаются ли эти пакеты с использованием технологии автоматического спортивного анализа. Конечно, по крайней мере, одна компания – IBIS (Integrated Broadcast Information Systems Ltd.) (www.ibistv.com) – предлагает продукт, который облегчает ручную компиляцию пакетов спортивных материалов.

Двумя исключениями являются Sharp Labs, Соединенные Штаты, и Hitachi, Япония. Hitachi представила программное обеспечение Prius Navistation3 для своей линейки персональных компьютеров Prius. Navistation3, как утверждается, суммирует видео трансляции бейсбола и футбола. Пользователь выбирает один из заранее заданных процентов для коэффициента сокращения времени в сводке. Сообщается, что программное обеспечение Hitachi использует поддержку толпы как особенность. Navistation3 не пытается обнаружить игры или захватывающие события.

Sharp Laboratories of America создала пакеты программ HiMPACT Sports и HiMPACT Coach. HiMPACT Sports обнаруживает в режиме реального времени ключевые события в бейсболе и футболе, а повторы помечаются. Технология также поддерживает борьбу сумо, где каждый бой обнаруживается, и футбол. Автоматическая синхронизация с SportsTicker (или любые другие структурированные данные) также реализована.

[Рис.1] Снимок экрана с прототипа системы Sharp для американского футбола. Статистика игры, извлеченная из фида данных SportsTicker, отображается в правом и нижнем правом углу главного окна. Прямо под окном находится прокручиваемое текстурное описание игры, где каждая строка соответствует игре, а линия золотым шрифтом соответствует текущей просматриваемой игре.

Снимок экрана из системы Sharp показан на рисунке 1 для американского футбола. Пользователи могут извлекать клипы событий из разных игр, хранящихся в базе данных, в соответствии со своими запросами, например, используя имя любимого игрока. Система может генерировать основанные на событиях краткие сведения о записанных играх и позволяет осуществлять нелинейный просмотр. HiMPACT Coach использует алгоритм автоматической сегментации в режиме реального времени (используя HMM [30]), который сегментирует видео футбольных тренеров.

ЗАКЛЮЧИТЕЛЬНЫЕ КОММЕНТАРИИ

Эта статья посвящена обзору работы по поиску спортивного контента и объединению различных подходов в простой структуре. Интерес к этой области широко распространен, о чем свидетельствует не только большая исследовательская деятельность, но и сообщения, цитируемые в популярных СМИ [31] – [34]. Интересно, что одно из основных преимуществ цифрового мультимедиа и цифрового телевидения, в частности, заключается в том, что пользователю будет предоставлен больший выбор и более интерактивный опыт просмотра. Тем не менее, благодаря огромному количеству данных, предоставляемых зрителям, особенно по многим доступным цифровым каналам, свобода выбора фактически стала свободой выбора из вариантов, которые предоставляет вещатель. Только благодаря использованию автоматического контент-анализа зрителям спорта будет предоставлена ​​возможность манипулировать контентом на гораздо более глубоком уровне, чем задумано вещателями, и, следовательно, придать истинное значение интерактивности.

Использованные источники

[1] Informal EU Ministerial Conference on Broadcasting, “The impact of transfrontier broadcasting services on television markets in individual member states,” Drogheda, Ireland, Feb. 2004.

[2] D. Zhong and S. Chang, “Structure analysis of sports video using domain models,” in Proc. Int. Conf. Multimedia and Expo, Tokyo, Aug. 2001.

[3] H. Denman, N. Rea, and A. Kokaram, “Content-based analysis for video from snooker broadcasts,” J. Comput. Vision Image Understand., Special Issue on Video Retrieval and Summarization, vol. 92, pp. 141–306, Nov./Dec. 2003.

[4] R. Dahyot, N. Rea, and A. Kokaram, “Sport video shot segmentation and classi- fication,” in Proc. PIE Int. Conf. Visual Communication and Image Processing, July 2003, pp. 404–413.

[5] Y. Gong, L.T. Sin, C.H. Chuan, H. Zhang, and M. Sakauchi, “Automatic parsing of TV soccer programs,” in Proc. Int. Conf. Multimedia Computing and Systems, May 1995, vol. 7, pp. 167–174.

[6] E. Kijak, G. Gravier, P. Gros, L. Oisel, and F. Bimbot, “HMM based structuring of tennis videos using visual and audio cues,” in Proc. IEEE Int. Conf. Multimedia and Expo, July 2003, vol. 3, pp. 309–312.

[7] P. Chang, M. Han, and Y. Gong, “Extract highlights from baseball game video with hidden Markov models,” in Proc. IEEE Int. Conf. Image Processing, Sept. 2002, pp. 609–612.

[8] A. Ekin, A.M. Tekalp, and R. Mehrotra, “Automatic soccer video analysis and sum- marization,” IEEE Trans. Image Processing, vol. 12, no. 7, pp. 796–807, July 2003.

[9] P. Xu, L. Xie, S.-F. Chang, A. Divarakan, A. Vetro, and H. Sun, “Algorithms and system for segmentation and structure analysis in soccer video,” in Proc. IEEE Int. Conf. Multimedia Expo (ICME), Aug. 2001, pp. 721–724.

[10] N. Babaguchi, Y. Kawai, and T. Kitahashi, “Event based indexing of broadcast- ed sports video by intermodal collaboration,” IEEE Trans. Multimedia, vol. 4, no. 1, pp. 68–75, Mar. 2002.

[11] R. Dahyot, N. Rea, A. Kokaram, and N. Kingsbury, “Inlier modeling for multi- media data analysis,” in Proc. IEEE Int. Workshop Multimedia Signal Processing, Sep. 29–Oct. 1 2004, pp. 482–485.

[12] G. Sudhir, J.C.M. Lee, and A.K. Jain, “Automatic classification of tennis video for high-level content-based retrieval,” in Proc. EEE Int. Workshop Content-Based Access of Image and Video Databases, Jan. 1998, pp. 81–90.

[13] A. Kokaram and P. Delacourt, “A new global estimation algorithm and its application to retrieval in sport events,” in Proc. IEEE Int. Workshop Multimedia Signal Processing, Oct. 2001, pp. 251–256.

[14] R. Leonardi, P. Migliorati, and M. Prandini, “Semantic indexing of soccer audio- visual sequences: A multimodal approach based on controlled Markov chains,” IEEE Trans. Circuits Syst. Video Technol., vol. 14, no. 5, pp. 634–643, May 2004.

[15] N. Peyrard and P. Bouthemy, “Detection of meaningful events in videos based on a supervised classification approach,” in Proc. IEEE Int. Conf. Image Processing, 2003, pp. III-621–624.

[16] N. Rea, R. Dahyot, and A. Kokaram, “Modeling high level structure in sports with motion driven HMMs,” in Proc. IEEE Int. Conf. Acoustics, Speech, and Signal Processing, May 2004, vol. 3, pp. 621–624.

[17] N. Rea, R. Dahyot, and A. Kokaram, “Classification and representation of semantic content in broadcast tennis videos,” in Proc. IEEE Int. Conf. Image Processing, Genoa, Italy, 2005, pp. 1204–1207.

[18] A. Ekin and A.M. Tekalp, “Automatic soccer video analysis and summariza- tion,” in Proc. SPIE Int. Conf. Electronic Imaging: Storage and Retrieval for Media Databases, Jan. 2003, pp. 339–350.

[19] F. Pitié, S.-A. Berrani, R. Dahyot, and A. Kokaram, “Off-line multiple object tracking using candidate selection and the Viterbi algorithm,” in Proc. IEEE Int. Conf. Image Processing, Genoa, Italy, 2005, pp. 109–112.

[20] D. Tjondronegoro, Y.-P. Phoebe Chen, and B. Pham, “Integrating highlights for more complete sports video summarization,” IEEE Multimedia, vol. 11, no. 4, pp. 22–37, Oct.–Dec. 2004.

[21] Y. Rui, A. Gupta, and A. Acero, “Automatically extracting highlights for TV baseball programs,” in Proc. ACM Conf. Multimedia, Marina del Rey, Nov. 2000, pp. 105–115.

[22] R. Dahyot, A.C. Kokaram, N. Rea, and H. Denman, “Joint audio visual retrieval for tennis broadcasts,” in Proc. IEEE Int. Conf. Acoustics, Speech, and Signal Processing (ICASSP), Apr. 2003, pp. III-561–564.

[23] B. Li, H. Pan, and M.I. Sezan, “Automatic detection of replay segments in broadcast sports programs by detection of logos in scene transitions,” in Proc. IEEE Int. Conf. Acoustics Speech and Signal Processing, May 2002, pp. IV-3385–3388.

[24] P. van Beek, H. Pan, and M.I. Sezan, “Detection of slow-motion replay seg- ments in sports video for highlights generation,” in Proc. IEEE Int. Conf. Acoustics Speech and Signal Processing, May 2001, pp. 1649–1652.

[25] G. Piriou, P. Bouthemy, and J.-F. Yao, “Extraction of semantic dynamic con- tent from videos with probabilistic motion models,” in Proc. European Conf. Computer Vision ECCV’04, Prague, May 2004, pp. 145–157.

[26] J. Assfalg, M. Bertini, A. Del Bimbo, W. Nunziati, and P. Pala, “Soccer high- lights detection and recognition using HMMs,” in Proc. IEEE Int. Conf. Multimedia Expo. (ICME), Aug. 2002, pp. 825–828.

[27] D. Tjondronegoro, Y-P P. Chen, and B. Pham, “The power of play-break for automatic detection and browsing of self consumable sport video highlight,” in Proc. ACM Int. Workshop Multimedia and Information Retrieval MIR’04, New York, Oct. 2004, pp. 267–274.

[28] B. Li, J. Errico, H. Pan, and M.I. Sezan, “Bridging the semantic gap in sports video retrieval and summarization,” J. Vis. Commun. Image Represent., vol. 15, pp. 393–424, 2004.

[29] A. Hanjalic, “Multimodal approach to measuring excitement in video,” in Proc. IEEE Int. Conf. Multimedia and Expo (ICME 2003), July 2003, vol. 2, pp. 289–292.

[30] B. Li and M.I. Sezan, “Semantic sports video analysis: Approaches and new applications,” in Proc. IEEE Int. Conf. Image Processing, Sep. 2003, pp. I-17–20.

[31] J. Randerson, “Let software catch the game for you,” New Scientist, July 3, 2004.

[32] S. Maguire, “Software detects sports highlights on its own,” Sunday Times, July 11, 2004.

[33] The Guardian, “Software senses highlights to save time for busy football fans,” The Guardian, Sept. 1, 2003.

[34] I. Austen, “For a squeeze play, software seeks out game highlights,” NY Times, Apr. 29, 2004.


Browsing Sports Video
Rozenn Dahyot

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *