![]() |
Because... |
HOME|Coffee Break|Profile|FDG Part-1|FDG Part-2|Other Stories|It's a small world !|アット・ホームページ|@nifty |
Theory and Design of Music Image System
|
![]() |
![]() |
3.映像の特徴 3.1 コンテンツ コンテンツの素材には下記のものが考えられる。基本的に個人の娯楽目的で自宅内で使用する場合はさほど問題にならない。第3者やネットに流したりするのは自分の作成したコンテンツに留めておいたほうがよい。 (1)テレビ映像 著作権、肖像権があるため、基本的にはその使用範囲は個人の娯楽目的に限られる。 PCやセットトップボックスにたまった映像から自動的に素材を抽出することも可能で あろう。 (2)Web映像 著作権、肖像権があるため、基本的には使用範囲は個人の娯楽目的に限られる。 (3)手作り映像(ホームビデオ、デジカメなど) 素材が上記(1)、(2)である場合は著作権、肖像権の問題あり。自分で撮影したも のでも芸能人や著名人、ホテルやお店の中、公共の建物、特定の建物の内部などの場合 は注意を要する。公の場で使用する場合は承諾が必要であろう。有名人の街頭コンサー トなどではガードマンがビデオ撮影を禁じている場合もある。 3.1.1 シーンクラス すでに述べたものだが、個人の好みによるのであえてここでは網羅しない。 3.1.2 アクター 肖像権の問題があるので個人が自宅などで楽しむ程度に限られる。公の場では問題が出てくる可能性が高い。 (1)アーティスト 一般にDVDやビデオで販売されている音楽シーンというと、大半がこのアーティスト かアイドルである。好きなアーティストのコンサートシーンやイメージ映像があれば十 分という人も多い。さらにWebでは絶えず新しい映像が得られる。私は音楽を楽しむ映 像とアーティストを楽しむ映像は別だと感じる。これは人の好み次第。 (2)アイドル アーティストの場合とほぼ同じ。より、ルックスや人気にシフトしたのがアイドル系 のビデオ映像。やはり毎回変化する部分を持った映像であってほしい。 (3)著名人 音楽の楽しみとどこまで関係があるかは不明。一般論はない。個人の好みのみ。 (4)リスナーが個人的に好きな人 これは結構あるであろう。アイドルにほぼ近い素材となる。 (5)動物、植物 一応、列挙した。子犬、子猫、動物園の動物、魚など。植物では季節や場所を感じ させる花や木など。 3.1.3 先行イメージ (1)リスナーが個人的に思い入れのある画像 (2)単なるシーンクラスでは判定できない、特別な意味合いのある画像 有名な場所、著名な人が住んでいる、かつて訪れた、大きなイベントがあった、好き な映画のシーンなど。ただし、この要素がクローズアップされるかどうかはリスナー の視点による。知らない場合もあるし、さして気にしないという場合もある。 3.1.4 ::::::::: 3.2 画像の変化 (1)特殊効果 特殊効果は心象の映像化において重要な要素だと考え、テレビでも頻繁に用いられるようになった80年代後半からいろいろ見てきた。今では、定番となっているメニューもあるがはやりすたりのあるものもある。最近ではホームビデオやデジカメ、PC用の画像編集ソフトにおいてもいくつかメニューが用意されている。どれがよいかは個人の好みによる。 :::::::: 特殊効果に限らず、一般に個人の嗜好の扱いを定式化することは計量心理学の分野で長年行われてきた。しかしながら、大半はスタティックな特性かある特殊な局面に関するものである。実際は、人間の嗜好は環境や状況、状態、慣れとともに時間的に複雑に変化する。そこで、それらを説明できる動的モデルを考案することも過去には行ってきた。ところが、その有効性を客観的に説明しようとすると、問題となる多属性要因の複合環境を人為的に設定して定量的に検証しなければならない。これは単純計算すれば、地球の歴史をもってしても設定不可能な数の(あるいは人道的理由や安全上の理由でできないといった)ケースが存在する。たとえば、”雨の降る日に日傘をさしてスキーに出かけた80歳の老人の場合”とか。。。つまり、設定するものではなく、実際に起こったことを体系化して整理して今後の予測に役立てるという程度が現実的なアプローチである。物理現象ならいざしらず、複雑な状態変化をともなう感性の問題にいわゆる実験計画法をそのまま適用して得られるような結論は、精度か適用範囲を犠牲にしない限り有効ではないと思われる。とすると、逆に、限られた特殊なケースにおいて高い効果が得られるしくみを経験的に示すことのほうが工学的には価値が高いのではないだろうか。話が脱線した。。。 :::::::: なお、メニューさえ決まれば、シーンのつなぎにおいて映像特殊効果のパラメータを自動化する研究も90年代にあったと記憶している。音楽との同期においてはメニューもさることながら、音楽で誘導される感性状態とのタイミングもかなり重要である。 (2)カメラアングル、距離 ゴルフのゲームのCMや映画のリメイクなどを見ると、映像に対する感動はカメラアングルやシーンカットの構成にもかなり影響されることが容易に理解される。しかし、これを変更することはCGか撮影現場しかできない。手持ちの実写素材だけではどうしても不自然になる。さまざまなアングルや距離の素材を用意して組み合わせるなら現実的だが、大規模なデータベース化は個人レベルでは非現実的である。コストも見合わない。 (3)ズーム これはディジタルで後処理できる。画質の問題はかなりある。 (4)静止画を動画にする 実写は困難。不自然を覚悟で別の心象効果を想定して使用することはできる。 (5)動画のカットをはめ込む もっとも簡単だが、通常、矩形領域に限られる。飾り窓を作ったり、特殊効果を併用したりすることは考えられる。 (6)動画のカットをつなぐ 90年当時にまず考えたのはこの手法だが、やはり繰り返しはすぐに飽きられる。データベースのサイズと繰り返しを気づかせない特殊効果の併用が鍵となろう。また、カットの選択に際しては特に指定しない限り、鑑賞するたびにリスナーの好みに合う範囲で変化するものがよい。考えられる検索ファクターとしては季節の要素、場所の要素、フィーリング、歌詞から想起されるオブジェクトやシーンクラスに対応すること、などが考えられる。 以上のプロセスを経て、仮に音楽シーンを自動生成できたとしよう。次なる問題は、その生成シーンが鑑賞者にどう評価されるかを定性的かつ定量的に記述するという問題がある。簡単に言うと、そのシーンはよかったかどうかということである。たとえば、それをn項目の属性についてしかもどの箇所(時刻)でどうだったのかを100点満点で記述することなどが容易に考えられる。だが、リスナーとしてはそんなめんどうくさい作業はやりたくない。いい、悪い、ここをこう変えて、くらいが妥当なところである。 さらに、その評価を経てシステムにより効率的に映像を生成させるための学習機構を考えねばならない。自分で楽しむだけならば比較的評価は簡単だが、それさえも、本末転倒になってはいけないので、その時間は少ないほうがよい。当然ながら、システムの学習に要する時間も少ないほうがよい。これらについては、後に詳細に論じてみたい。 (Sep.15, 2007) 図2は比較的簡単にリスナーが評価や修正要求を入力できるユーザインタフェース画面の例である。ここでは、音楽記述や初期生 成したシーンの記述をもとにキーフレームのサムネイル画像、ボーカルや各演奏パートの時間的位置づけなどが視覚的に自動表示さ れ、必要に応じて該当ブロックをクリックすると中の詳細内容を参照し、編集することもできる。だが、通常はユーザはもっとも簡 単な入力ツールとして、縦軸に画像への変化要求など最重要な一次元の属性値を取り、その時間変化を表示した一次元グラフを自在 に変形させることでシーン生成への変化要求を簡便に行うことができる。この変形は主としてキーフレームに該当するアイコンの位 置をコントロールポイントとしてマウスなどで移動させることで実現する。このアイコンの種類はよく用いる特殊効果や画像素材に 対応付けておく。まずはこのようなインタフェースを基調として、各部のデータ形式を概略設計してみよう。 (Sep.16, 2007) |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: 今日、恐ろしいことに気がついた。私はRecord版Bi・Ki・Ni(1983年6月5日)*のSurfCityは数年間聞いていなかった(Tapeも埋もれ、RecordPlayerも半休止状態なので。。)が、かつて何度も(百は楽に超えるだろう)聞いたので自分のBrainPlayerに絶対的確信を抱いて本稿を書いていた。だが、今宵、Tapeを見つけ、MDにダビングして以前から聞いていた16th Summer Breeze(1994年7月8日)**に収録されたSurfCity(ライブっぽいがライブではないかもしれない)と聞き比べたりして驚いた。(やはりいい.....だが、ライブ版も結 構いいではないか。)かなり私の記憶の中でmodifyされていたのである。あるいはヘッドフォンで聞いたの で、ステレオで小さい音量で聴いたときとは音響効果が異なったせいもあるのかもしれない。あとは老化..? かつてカーステレオで大音響で聴いていたころの印象が、だいぶフィルタリングされた結果かもしれない。 少なくとも、私の記憶する”サイレント”は実際には”サイレント”ではなかった。強弱にはなっていたが。 ライブ版とミックスされた記憶になっていたのかもしれない。また、記憶ではもう少し長い時間だった合間 も実際には非常に短いという箇所がいくつか存在した。実物を長らく聞かぬ間に、BrainPlayerの中で心象が 一人歩きしていたのである。逆に言えば、このような時間の非線形効果や絵画のような誇張表現が心象の映 像化において考慮せねばならないポイントなのかとややポジティブに考えたりもする。せっかくオリジナル ソースが見つかったので今一度、冷静に鑑賞してみよう。(結果は前章にフィードバック中である) 「あなたも地図を持ちなさい」ってことか。。。 今日は、ここまで。 (Sep.18,2007) <(*)(**)フリー百科事典『ウィキペディア(Wikipedia)』杏里 より> :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: 瓢箪から駒。この機会にBrain Playerについて考察してみよう。上記の現象から次のような仮説を思いつく。 (仮説1)心象内で複数の音響パートのうちの代表的なものだけが音の記憶として残り、他は”音の記憶”ではなく”快適さの記憶”として残った。つまり、音が快適度に変化して消失し、サイレント度が増した。 (仮説2)Brain Playerでは複数の音響パートの同時再生が困難である。 (仮説3)Brain Playerでは集中度に応じて再生時間が非線形に伸縮する。 (仮説4)Brain Playerではランダムアクセスが容易である。 (仮説5)Brain Playerで再生される音響は、記憶時(Brain Recorder)の音響条件に左右される。 もちろんこれらは筆者の知覚経験を踏まえたものなので、個人差について議論するための材料はまだない。ただ、 仮説2に関連して20年ほど前に提案した感性モデル(時空間移動―状態遷移モデル)において、人間は2つ以上の 状態を同時に思い浮かべることは比較的困難(バイリンガル、同時通訳といった状態では可能。また、弾き語り やながら勉強など。いわばちょっとした聖徳太子状態。だが、これらは十分修練を積み、常人では精神を集中さ せたときのみ可能。)であるらしいという性質が思い起こされる。たとえば、同時にバーチャルな2箇所以上の空 間に存在する自分(現実空間も合計すると3箇所以上)を想定することは比較的難しい。 また、同様に仮説だが、経験的によく利用されているだろうと思われる性質を上述からひろってみると、次のよ うな項目があげられる (A) 悪い印象を持っていたコンテンツが良好に転じることがある。そのトリガーとなる要因には相対比較、感 性の時間変化などが考えられる (B) 心象の中では時間の非線形効果がある (C) 心象の中では絵画のような誇張表現がある(色、形状、テクスチャ、明るさなど) (D) 心象の中では視点の時空間移動は自在である (E) 心象はソースとなる現実のオブジェクトとの比較照合時間が少なくなると、徐々にユーザの感性の誘導の もとで変化していく 今日は、ここまで。 (Sep.19, 2007) |
![]() |
Brain Player のランダムアクセス(仮説4)については若干注意が必要である。すなわち、PC上のHDD Player
のようにタイムコードの情報を投げれば瞬時にそこに到達して再生するというものではないと考えられる。 Brain Recorderにはさほど正確なタイムコードはない(訓練すれば別かもしれないが)。したがって、曲全体のお ぼろげな”地図”と記憶時につけた”目印”を頼りに、印象の強い断片(人工知能でいうチャンクに相当する?) をキーフレームとして前後関係を参照しながら最終的にいきたいところにたどり着くと考えられる。ただし、一瞬 にしてこれを行うので見かけ上(いや、誰も見ていないし、本人も知覚はしたが見たわけではないので、感覚上と いうべきか)ランダムアクセスの動作に近いと感じる。この地図(Brain Mapと呼ぶことにしよう)の作り方や目印 (Brain Index)のつけ方は記憶の優れた人たちでは(たとえば目隠し将棋を指す人は脳内将棋版を持つといわれる) また異なってくるのであろう。 では、音楽鑑賞においてBrain Mapはどのように考えればよいのであろうか。ある曲を聴きながら感性状態が遷移 を進行させると、そこに道筋ができる。だが、とてもおぼろげで漠然とした道である。しかも同じリスナーでも毎回 微妙に変わりうる。別のリスナーでは到達地点すら異なってくる。それでも、リスナーAとリスナーBはその曲のあの フレーズがいいね、とか、絶妙だね、とか、時には五感や風景にたとえて印象を表現する。XXのようなといった比較 要素を持ってきて、到達点や経由地を何とか近似しようとすることもある。AもBも自分の地図は持っているが、確認 しあうことはできない。そこで、地図の特徴を示す経由地や風景(これは上記の物理的風景の記憶とは少し異なり、 視覚的でない要素も含まれるBrain Landscape)を何とか自然言語で表現して、お互いの地図の対応付けを図る。この ようなインタラクションを多くの人と重ねると、”美しい”とか”きらりとする”とかもともとただのテキストであ った形容表現が徐々に同じ”場所”をさし始める。もちろんBrainMapのカテゴリは音楽に限らないわけだから、同様 なインタラクションにより言葉や共有体験を通じて共通の概念がラベリングされていくと考えれば、多くのことが非 常にうまく説明できる。 今日は、ここまで。 (Sep.19, 2007)
|