Content analysis in social studies. What is content analysis? Advantages and disadvantages

Lecture



What is content analysis in psihology? Content analysis is an approach to analyzing documents and texts, in which an attempt is made to quantify content in terms of pre-defined categories in a systematic and reproducible manner.

  Content analysis in social studies.  What is content analysis?  Advantages and disadvantages

Content analysis can be compared with two other approaches to the analysis of the content of communication:

  1. Semiotics. The study / science of signs. An approach to analyzing documents and other phenomena that emphasizes the importance of finding deeper meaning. The semiotic approach is designed to identify value production processes and how signs are developed that should have an impact on actual and potential consumers of these signs.
  2. Ethnographic content analysis. This term was introduced by Elteid (1966) to describe the approach to the analysis of documents, which emphasizes the role of the researcher in constructing the meaning of text and meanings in the text. This method is also called quality content analysis.

As with most approaches that are characterized as ethnographic, the possibility of the emergence of categories based on data and the recognition of the importance of understanding meaning in the context in which the object under study (and the resulting categories) is analyzed is emphasized.

In this article, we will use the term “content analysis” in the context of quantitative content analysis — that is, in the first of the three forms of analysis listed above.

Content analysis is an approach to analyzing documents and texts (printed or electronic), the purpose of which is to quantify - to present certain content in numerical format in terms of predetermined categories and in a systematic and reproducible manner.

This is a very flexible method that can be applied in a wide variety of media. In a sense, this is not a research method, since it is rather an approach to analyzing documents and texts than a means of producing and generating data. However, it is usually interpreted as a research method because it is a separate data analysis method.

Let's imagine that you would be interested to know the amount and nature of the attention that the media (for example, newspapers) pay to such news as, for example, the collapse of a tanker and the bankruptcy of a company, as well as the impact that these events had. You could ask such questions:

  • When did notes on this topic first appear?
  • Which newspapers were the most “agile” in stimulating interest in this topic?
  • Which newspapers showed the most interest in this topic?
  • At what point did media interest begin to decline?

If you want to get answers to such questions, then you may have to apply the method of content analysis.

Probably the most well-known definition of content analysis:

Content analysis is a research technique for an objective, systematic and quantitative description of the obvious (explicit) content of communication.

Or another well-known definition:

Content analysis is any technique for drawing conclusions through objective and systematic identification of certain characteristics of messages.

It is important to keep in mind that in these two definitions there is a reference to two qualities: objectivity and systematicity. The first quality means that in the case of, for example, the observation plan, in order to distribute the primary material (such as newspaper articles) into the appropriate categories, the rules are determined in advance.

Objectivity in this sense is related to the fact that the procedure for distributing the primary material into categories is very clear, so the degree of “interference” by the analyst’s personal, personal biases is minimized. Content analysis is simply the application of the necessary rules. Systematic means that the application of the rules is carried out in a consistent manner, so that biases are again suppressed. The result of these two qualities is that any person can use these rules and (as it is supposed) to get the same results. The process of analysis means that the results are not a “continuation” of the analyst’s personal prejudices.

The rules, of course, can reflect the interests of the researcher, and therefore, they could be the result, or the “product” of a subjective point of view, but the key point here is that once formulated rules can (at least, be) be applied without any influence however prejudice.

The definition also contains a reference to a “quantitative description”. Content analysis is based on a quantitative research strategy; his goal is to quantify the primary material in terms of the categories defined by the rules. The quantitative definition of "adds weight" to the general sense of the systematic and objective application of neutral rules, so that with a certain degree of certainty and systematic it can be said that, for example, broadband newspapers cover much more topics that interest us than tabloids.

The other two elements in the definition are quite obvious. First, the "obvious content." This means that content analysis is aimed at identifying the obvious content of the question of interest: that is, what is obvious. In another definition, there is no such reference; it refers only to "certain characteristics."

Secondly, it is possible to analyze what we might call “latent (hidden) content” —that is, the values ​​that are hidden under the surface features (indicators) of the content. The study of such latent content means the interpretation of the values ​​"lying under the surface," for example, what does the author's vision of the situation with the tanker scandal mean? Does this situation affect only the owners of companies in the United States or this scandal has a wider scale throughout the world?

A similar distinction is sometimes made between the emphasis on the linguistic structure of the text (in particular, the counting of certain words) and the thematic accent - on the topics within the text, which subsequently will require a search for certain ideas within the text.

Sampling for content analysis takes place in several stages. Since this method can be applied to many different types of documents, in this section we will look at an example of its use for media analysis. However, the basic principles are relevant for a wider range of applications for content analysis.

Criteria for selecting media for sampling

Many media studies involve the specification of a research problem in the form of “X representation in the media”. Anything can act as X: trade unions, decisiveness in management decisions, women or leadership. But which media to choose in order to concentrate on it in more detail? Will it be the press, television programs, radio programs, magazines or anything else? If we choose the press, will it be newspapers, tabloids, or broadband? And if we choose both tabloids and broadband publications, should we consider them all, and should there be Sunday issues among them? If this is a sample of newspapers, including Sunday editions, should it be national or local, or maybe include both? And should it include free newspapers? And if you choose newspapers, should all news topics be analyzed - for example, should review articles and letters to the editor be included? Should I choose newspapers from more than one country?

Usually, researchers choose one or, possibly, two media outlets, and form a sample within the chosen option.

Selection of time period for content analysis

Sometimes the decision on the time interval for content analysis is more or less dictated by the moment of occurrence of a particular situation.

When using research issues that are associated with a certain general continuous phenomenon, for example, with the representation of decisiveness in making management decisions or with the cultural values ​​of companies, the issue of determining the time interval becomes more open and relevant.

The principles of probabilistic sampling can be easily adapted to determine clear dates or deadlines — for example, generating a systematic sampling of dates by randomly selecting one day of the week and then observing at certain intervals of time. On the other hand, newspapers that came out of print on Monday can be used as the first set for inclusion in the sample, followed by newspapers that came out on Tuesday of the next week, followed by newspapers that came out on Wednesday after a week and so on. .

An important factor in this regard is the decision on what should be the focus of attention: will the researcher monitor the situation as it develops, in which case he can begin to observe at any time, and the key decision will be to decide moment to stop watching; or it is necessary to go back in time to select one or more time periods in the past.

What should be considered in content analysis?

Obviously, the decision about what needs to be considered in the course of content analysis is influenced by the specificity of research questions. Content analysis allows you to select different types of "units of analysis". Often there are the following units of analysis that can be used as guidelines for such types of objects that may be the focus. However, what you really need, or where you feel the need, will largely be determined by the research questions that you have formulated.

Significant actors

In the context of news reports in the media, the main actors of any news and their characteristics are often important elements for coding. Guided by these considerations, we will probably form a sample of such people (whose opinion will be recorded during the content analysis):

  • Who exactly wrote the article (regular reporter or specialist?)
  • Who is the focus of the article (director of the organization, manager, politician or employee)?
  • Who gives an alternative opinion (consumer representative, professional association official or employee)?
  • What is the context of the article (the publication of financial results, a significant organizational event or a catastrophe)?
  • Type of newspaper article (i.e., long or short general article, biography or obituary, review, etc .;
  • Details about the character

The main goal of fixing such details is to present the main actors in news reports in this area and subsequently to identify a specific mechanism for “producing” information for its public “consumption”.

The words

Although determining the frequency with which a word occurs in a text may seem like a silly exercise, however, this action is often taken in content analysis. The decision about what should act as a unit of analysis - a word, phrase or sentence - is an important issue in the study through content analysis.

Content analysis subjects and topics

Often, in the course of content analysis, the researcher will need to encode the text in terms of individual subjects and topics. Natural desire in this context is the desire to categorize the phenomenon of interest to the researcher.

Since the categorization of specific words is often relatively straightforward, when coding is thematic, it is necessary to use an interpretative approach. At this stage, the analyst searches for not only obvious, but also latent content. Therefore, it is necessary to find out first what is hidden under the surface in order to ask deeper questions about what is happening.

Disposition

The next level of interpretation should probably be the attempt of the researcher to demonstrate the disposition in the analyzed text. For example, a researcher may aim to find out whether the attitude of a journalist who wrote an article in the media to a certain aspect of it, such as the practice of paying significant financial bonuses to top managers, is favorable or hostile. On the other hand, the researcher may be interested in the position of readers of news articles, and not their authors.

Such an analysis helps to establish whether it is possible to recognize a subjective point of view in the coded article, and if so, what is the nature of this subjective opinion.

As follows from our discussion, coding is a critical stage in the process of content analysis. There are two main elements in the coding scheme for content analysis: the development of a coding scheme and the development of a coding manual. In order to illustrate its use, let us introduce a person who is interested in newspaper reports on court hearings related to gender, racial and physical discrimination in the workplace, reports for the three-month period published in the daily national newspaper. It has been decided to concentrate on reporting on labor law hearings and on the results of these hearings. To simplify this issue, the following variables could be considered:

1 - specificity of the claim (for example, refusal to promote);

2 - the floor of the claimant;

3 - the claimant’s ethnicity;

4 - the position of the plaintiff;

5 - the age of the plaintiff;

6 - the marital status of the claimant;

7 - the type of activity of the employer;

8 - the number of employees;

9 - result of hearings (claim accepted / rejected; type of compensation);

10 - the location of the news article;

11 words in the article.

The analysis will enable the researcher to enter information about the types of gender, racial or physical discrimination that has been the subject of legal proceedings, and to find patterns in the characteristics of the plaintiff and the employer. Thus, content analysis could provide valuable information, for example, on how gender management structures and organizational practices are reproduced.

Content analysis usually explores a much larger number of variables than those we mentioned, but such a simple illustrative example may be useful to demonstrate the types of variables that can be taken into account in the analysis.

Coding scheme

The coding scheme is the form in which all data related to the article being encoded will be entered.

A coding guide , sometimes called a content analysis dictionary, is a set of instructions for coders, by means of which categories are defined that are subsequently used to classify texts; these are the rules that determine how the text will be classified. This manual includes: a list of all parameters; different categories that apply to each parameter; letters or numbers (i.e., codes) corresponding to each category; a guide that states what is related to each parameter; definitions, or rules to follow when categorizing words, as well as any factors that need to be taken into account when deciding how to assign a specific code to a parameter.

The encoding guide allows you to encode the message content in a consistent, logical manner. The coding categories for each parameter must be mutually exclusive and exhaustive, so that there is no feeling that they overlap. There are a number of content analysis dictionaries, which are often used as a starting point, starting from which the researcher constructs a coding guide for a specific research project.

The encoding guideline includes all aspects that will be considered in the encoding process; pointers for coders and lists of categories that were created for each aspect. The coding manual contains instructions for classifying information about the person acting, as well as categories for various characteristics of decisiveness that are referenced in a newspaper article, as well as categories for how they appear or are observed. The coding scheme and guidelines allow fixing only one obstacle or tool in relation to a specific phrase in a newspaper article. However, if the phrase contains two or more obstacles / tools, then the encoder can split the phrase and encode a single word or several words.

The encoding guidance is an important document because it provides the coders with a complete list of all categories for each coding parameter, as well as the rules for interpreting these parameters. At this stage, decisions must be made on the basis of processing words that have more than one meaning.

Using the table, we illustrate how to encode an example of an imaginary news article that describes a decisive action (we take as a basis the coding guide offered by Harris). В центре внимания в истории, опубликованной в британской газете, 35-летняя женщина-предприниматель, владелица небольшого бизнеса. Сообщалось, что она поступила решительно, приняв решение отказаться от контракта с главным дистрибьютором и розничным продавцом из-за опасений (которые впоследствии подтвердились), возникших в отношении его поведения

No Информация о действующем лице Code
I Пол действующего лица
Ii. Возраст действующего лица
Ш. Qualification
Iv. Profession
V. A place
Vi. Position
VII. Доказательства рискованной натуры
No Черты решительности: проявленные, желаемые или наблюдаемые Code
Viii. Слова, которые используются для описания решительности
Ix. Упоминаемые инструменты (для проявления решительности)
X. Упоминаемые препятствия
Xi. Включает выбор между индивидуальными и корпоративными ценностями
XII. Включает защиту корпоративных/организационных ценностей
XIII. Включает выбор между личными выгодами и корпоративным/общественным благополучием
Xiv. Решительность относится к действию, к предрасположенности действующего лица или к качеству характера

Недоработки при составлении схем кодирования

При составлении схемы кодирования для контент-анализа существует несколько потенциальных угроз.

  • Дискретные параметры . Убедитесь в том, что выбранные вами параметры четко отделены друг от друга. Между ними не должно существовать концептуального или эмпирического пересечения. Например, правила кодирования могут понадобиться для того, чтобы разграничить существительное «менеджмент» (управленческий персонал фирмы) от «менеджмент» (процесс управления инновациями).
  • Взаимоисключающие категории . Убедитесь в том, что категории, которые относятся к одному параметру, не пересекаются. Если категории не являются взаимоисключающими, то кодировщики будут не уверены в том, как кодировать каждую отдельную единицу анализа.
  • Исчерпывающее описание . По каждому параметру кодировщики должны располагать всеми возможными категориями.
  • Четкие инструкции . Кодировщики должны иметь четкое представление о том, как интерпретировать то, что подразумевается под каждым параметром, и какие факторы принимать во внимание при присвоении кода каждой категории. Иногда сделать это весьма непросто. Автономия кодировщиков в отношении произвольного распределения единиц анализа по категориям должна быть сведена к минимуму.

Чтобы повысить качество схемы кодирования, желательно протестировать более ранние версии схемы. Тестирование позволит выявить трудности в применении схемы кодирования, например, такие, как неопределенность при категоризации определенного параметра или отсутствие кода, который мог бы соответствовать конкретному случаю. Тестирование также может представить доказательства того, что одна категория параметра включает слишком большое количество пунктов. Если это так, то необходимо разбить эту категорию так, чтобы была возможность более точно дифференцировать анализируемые объекты.

Надежность кодирования — еще одна потенциальная область интереса. Кодирование должно выполняться последовательно и согласованно. Как и в случае структурированного наблюдения, в ходе кодирования должно быть достигнуто согласие среди кодировщиков (коэффициент согласия среди кодировщиков) и каждый кодировщик должен быть последовательным и устойчив в этом процессе, проводя исследования в разное время (коэффициент устойчивости кодирования). Основная часть тестирования схемы кодирования — это проверка уровня согласия среди кодировщиков, и, если позволяет время — уровня устойчивости самого процесса кодирования.

  Content analysis in social studies.  What is content analysis?  Advantages and disadvantages

Контрольные вопросы для проведения контент-анализа

  1. Четко ли Вы сформулировали свои исследовательские вопросы?
  2. Релевантен ли Вашим исследовательским вопросам тот набор документов, с которыми Вы будете проводить контент-анализ?
  3. Can you justify your approach to sampling?
  4. Did you make sure that the parameters you selected for analysis do not overlap?
  5. Have you made sure that the categories used for each parameter do not overlap?
  6. Do all the parameters you choose allow you to get answers to the formulated research questions?
  7. Did you test the coding scheme?
  8. Are your coding instructions clear?
  9. If your research is based on media data, can you justify your chosen time period?
  10. Are you sure that the unit of analysis is right?

Advantages and disadvantages of content analysis

Контент-анализ имеет ряд преимуществ. Это очень «прозрачный» метод исследования. Схема кодирования и процедуры формирования выборки могут быть четко сформулированы, следовательно, появляется возможность для воспроизведения конкретного эксперимента и проведения дальнейших исследований. Именно эта ясность зачастую позволяет считать контент-анализ объективным методом анализа.

Он позволяет довольно легко включить в исследование элемент лонгитюдного анализа . Некоторые исследования позволяют проследить за изменением частоты встречаемости определенных единиц анализа с течением времени. Например, в своем исследовании Кабанофф и его коллеги анализировали организационные ценности с интервалом в 4 года. Аналогично, в случае судебных разбирательств по трудовому праву, в которых рассматривались случаи дискриминации по гендерному, расовому или физическому признаку, временной анализ можно было провести, сравнив отчеты о судебных разбирательствах, опубликованные в газетах в течение двух периодов времени — 1960-е и 1990-е годы. Таким образом, появляется возможность исследовать изменения в расстановке акцентов.

Контент-анализ часто называют ненавязчивым методом. Этот термин ввел Вебб и его коллеги для описания метода, предполагающего, что участники эксперимента не должны принимать во внимание присутствие исследователя. Следовательно, это не-реактивный метод. Хотя к этому утверждению все же следует относиться с некоторой опаской. Несомненно то, что когда объектом контент-анализа становятся газетные статьи или телевизионные программы, реактивный эффект отсутствует.

Газетные статьи, понятно, не пишут с мыслью о том, что когда-нибудь они будут включены в контент-анализ. Следовательно, как предполагает Гаррис, контент-анализ вторичных данных, например, газетных статей, особенно актуален в случае, если исследуются деликатные вопросы, такие, как этическое поведение. С помощью этого метода появляется возможность преодолеть тенденцию людей отрицать в себе социально нежелательные черты, а признавать только желательные. С другой стороны, если контент-анализ основывается на таких документах, как расшифровки интервью или на этнографии, то, хотя сам процесс контент-анализа и не производит реактивного эффекта, все же, этому влиянию могут подвергаться сами документы, как минимум отчасти.

Контент-анализ — это очень гибкий по своей природе метод. Его можно применять к широкому спектру разнообразных типов неструктурированной информации.

Хотя контент-анализ в социальных науках, как правило, связывают с анализом «продуктов» СМИ, он имеет более широкое применение в исследованиях менеджмента и организаций.

Недостатки контент-анализа

Как и все техники исследования, контент-анализ имеет ряд ограничений.

Контент-анализ может быть хорошим лишь настолько, насколько хороши документы, над которыми работает исследователь. Рекомендуют оценивать документы в терминах таких критериев, как: аутентичность (действительно ли речь в документе идет о том, о чем заявлено в названии документа); надежность (есть ли основания полагать, что содержание документа было искажено каким-либо образом); и репрезентативность (репрезентирует ли исследуемый документ все возможные релевантные документы, как если бы обобщаемость определенных документов, которые недоступны или больше не существуют, находилась под угрозой). Эти замечания особенно важно иметь в виду, когда контент-анализ применяют для исследования таких документов, как отчеты компаний или внутренние меморандумы.

Почти невозможно составить руководство по кодированию, которое не включало бы определенную долю интерпретацию со стороны кодировщиков. Кодировщики должны опираться на свой повседневный опыт и знания как представители их культуры, чтобы быть способными кодировать материал, с которым они сталкиваются.

Спорным остается вопрос, оправдано ли предположение о существовании согласия между людьми, ответственными за составление анализируемых документов, и людьми, их кодирующими.

Посредством контент-анализа сложно получить ответы на вопрос «почему?». Например, исследователи обнаружили, что на протяжении почти десятилетия, академически-ориентированные статьи на тему организационной культуры постепенно адаптировались и переняли подход практиков. Why? Хотя авторы предлагают ряд гипотетических ответов на этот вопрос, сам контент-анализ не может предоставить ответ. Как утверждается, «конвергенция — принятие теоретиками более практичного подхода — могла возникнуть из-за того, что они хотели обезопасить ценные ресурсы и сохранить большую аудиторию для своих работ, но, учитывая природу данных, в равной степени возможны и другие объяснения». Следовательно, утверждают теоретики, определение мотивов этой конвергенции потребует проведения интервью с авторами работ «и исследования набора цитат с целью — выяснить, кто же и на кого повлиял».

Исследования, в которых применяют контент-анализ, часто обвиняют в том, что они атеоретичны. Несложно понять, почему мог возникнуть атеоретичный подход. Тот акцент, который в контент-анализе делают на метрике, может легко и непреднамеренно трансформироваться в акцент, который делают на том, что можно измерить, а не на том, что теоретически значимо или важно. Однако контент-анализ не обязательно атеоретичен.

Понимание языковых категорий — это важная составляющая исследований, в особенности во включенном наблюдении. Это важно потому, что знание способов употребления значения специфических слов и специфических терминов в местном жаргоне часто считают решающим фактором для оценки того, как изучаемый социальный мир воспринимают его участники.

По материалам A. Bryman, E. Bell. Business Research Methods. Oxford, 2003.


Comments


To leave a comment
If you have any suggestion, idea, thanks or comment, feel free to write. We really value feedback and are glad to hear your opinion.
To reply

Mathematical Methods in Psychology

Terms: Mathematical Methods in Psychology